Die Magie hinter Netflix und AMBEO Spatial Audio, 3D Tonmeister erklärt

Da ist es also, Netflix folgt dem Trend mit räumlichem Audio von Ambeo… oder eilt voraus? Denn die Nachricht gab es bereits vor über einem Jahr. Netflix unterstütze angeblich Spatial Audio mit den Airpods Pro.

Aber in Wirklichkeit war das ein Hoax. Zumindest eine Zeit lang. Heute unterstützt Netflix durauchs Dolby Atmos ähnlich den Streaming-Apps Disney+, AppleTV und Co, Netflix blieb in Stereo. Übrigens, hier sind alle Apps, die Spatial Audio Filme unterstützen.

Verwirrt? Keine Panik. Ich hatte die Gelegenheit, einige Einblicke in den Streaming-Dienst zu gewinnen. Vielen Dank an Scott von Netflix, der seine Erkenntnisse mit mir geteilt und sich bei mir gemeldet hat.

Update 23/01

Netflix-Premium-Abonnenten können bereits ohne zusätzliche Geräte und mit über 700 Titeln ein beeindruckendes Audioerlebnis genießen – die Liste finden Sie unten und wurde ergänzt. Genießen Sie Ihre Inhalte in neuer Dimensionalität – Netflix Spatial Audio wird bei Stereo-Streams automatisch aktiviert, was durch das Abzeichen in der Titel-UI angezeigt wird. Hier ist ein neues Video, das einen Vergleich von Netflix Spatial Audio mit Stereo zeigt:

Update 23/04

Sennheiser stellt Ambeo 2-Channel Spatial Audio für Live-Produktionen vor. Die Technologie wurde auf der NAB-Show als Prototyp vorgestellt und richtet sich an Rundfunkanstalten und Sportproduktionen. Die das alles funktioniert steht unten im Text.

Warum hat Netflix beschlossen, Spatial Audio für alle zugänglich zu machen?

Diese Frage lässt sich schnell beantworten. Genau wie ich strebt Netflix danach, jedem Menschen das bestmögliche immersive Audioerlebnis zu ermöglichen. Bevor sie eine Partnerschaft mit Sennheiser eingingen, haben sie bereits mit HDR-Video und Dolby Atmos gearbeitet (worauf ich später in diesem Artikel eingehen werde). Was wir als Verbraucher also nicht wissen, ist, dass hinter den Kulissen viel geforscht und experimentiert wird.

Bisher brauchte man spezielle Hardware und Software, um räumliches Audio in kinoähnlichem Klang zu hören. Ich weiß aber, dass es tatsächlich möglich sein kann, zumindest binaurales Audio zu Hause zu erleben. Alles, was man dazu braucht, sind Kopfhörer für den 3D Audio Genuss. Netflix hätte dann also einfach den binauralen Dolby Atmos-Renderer aktivieren können, oder?

Naja, aber was ist, wenn jemand mit seinem Fernseher zuhört oder eine Stereo-Lautsprechereinrichtung hat? Das ist immer noch ein großer Prozentsatz der Leute, die Netflix schauen. Sie müssten dann die Audioeinstellungen in der Netflix-App je nach verwendeter Hardware ändern. Für die Verbraucher möchte man die Technologie aber so einfach wie möglich machen.

Alles in allem möchte Netflix also seinen mehr als 200 Millionen Abonnenten die Möglichkeit geben, ein Gefühl dafür zu bekommen, wie immersives Audio sein könnte. Unabhängig davon, wo sie sitzen oder wie hoch ihr Budget für Audio-Hardware ist. Und raten Sie mal, sie haben einen interessanten Ansatz gewählt, von dem wir alle lernen können.

Wie räumliches Audio normalerweise auf Kopfhörern oder Lautsprechern wiedergegeben wird

Im Moment verkünden alle techy Nachrichtenportale die gleiche Meldung. Dass Netflix jetzt immersiver ist, über Lautsprecher und Kopfhörer, Bla Blab Bla. Bislang war Spatial Audio nur Leuten vorbehalten, die entweder Apple-Kopfhörer wie die Airpods Pro und Airpods Max besitzen. Oder Lautsprecher-Enthusiasten, die eine Soundbar mit Dolby Atmos oder 5.1-Funktion besitzen. Jetzt kann jeder zuhören. Egal, welches 2.0-System Sie verwenden. Newsflash vorbei.

Aber aus der Audio-Perspektive ist sehr fragwürdig ob das überhaupt geht. Denn „binaural“ funktioniert am besten – oder besser gesagt ausschließlich – über Kopfhörer. Binaurales Audio, das über Stereolautsprecher wiedergegeben wird, klingt seltsam. Man kann es als blechern, unpräsent und dumpf beschreiben.

Was aber, wenn man eben nicht mehr als zwei Lautsprecher hat? Wir brauchen einen anderen Ansatz. Bei Lautsprechern, die nicht mehrkanalfähig sind, wird gerne die sogenannte Cross-Talk-Cancellation (CTC) genutzt. Ich habe bereits über 3D Audio Soundbars ausführlicher berichtet.

Sennheiser hat hier eine ziemlich detaillierte Pressemitteilung veröffentlicht. Aber als Nicht-Audio-Fans sieht man einfach einen Haufen blöder Wellenformen. Es ist schwer zu verstehen, was außer „magischer Nachbearbeitung“ noch alles passiert. Also schauen wir mal, was genau sie getan haben.

Wie funktioniert Spatial Audio auf Netflix mit Ambeo?

Die Spatial-Audio-Community war sehr verwirrt und hat deswegen viel diskutiert. Wie kann es möglich sein, guten immersiven Sound auf Kopfhörern und normalen 2.0-Stereo-Lautsprechern gleichzeitig zu haben?

Technisch gesehen ist das gar nicht so einfach zu bewerkstelligen. Eigentlich ist es ein Widerspruch. Deshalb habe ich auf Nachrichtenplattformen eine Menge Marketing-Hype gesehen. Worte wie Spatial Audio, Dolby Atmos usw. werden in einem falschen Zusammenhang verwendet. Aber es sieht in der Tat so aus, als hätten die Toningenieure etwas erreicht, was unmöglich schien.

Die Verbraucher haben vielleicht schon von den Begriffen SRS 3D, Dolby Atmos oder sogar DearVR gehört. Diese Audiotechniken arbeiten für Kopfhörer, und die Chancen stehen gut, dass die Leute erste Berührungspunkte hatten. Aber all die magischen Algorithmen laufen auf einem bezielten Gerät ab. Dies stellt eine zusätzliche Hürde dar, um „immersiveres Audio“ zugänglich zu machen.

Beginnen wir also damit, was Netflix vor der Zusammenarbeit mit Sennheiser im Bereich Spatial Audio bereits erreicht hat:

Unterstützt Netflix Dolby Atmos?

Ja. Natürlich braucht man ein Netflix Abonnement und muss einen Film finden, der mit Dolby Atmos abgemischt wurde. Derzeit wird es als 5.1-Audiostream für Lautsprecher und Soundbars unterstützt. Bei der Wiedergabe auf einem Apple-Gerät mit den Apple-Kopfhörern hat man mehrere Optionen zur Auswahl. Das werde ich später erklären, aber sehen wir uns erst einmal an, was Netflix unter der Haube hat:

Wie man Dolby Atmos auf Netflix anhört

Als ich Dolby vor über fünf Jahren besuchte, erinnere ich mich an Folgendes: Ein Mitarbeiter hat eine Dolby Atmos-Masterdatei nach der anderen hochgeladen. Diese Dateien können bis zu 100 GB groß sein – nur für den 3D-Sound ohne Bildmaterial. Alle Informationen für räumlichen Ton liegen also bereits irgendwo auf den Servern von Netflix.

Aber wie Sie sich denken können, könnte das Streamen oder Herunterladen so vieler Daten zu Hause zu einem lästigen Puffer-Albtraum werden. Es ist also ein Downmixing und Enkodierung erforderlich zur Datenreduktion. Derzeit kann man mit der entsprechenden App auf dem SmartTV zumindest die meisten Filme in 5.1 Dolby Surround genießen. Besser geeignet für das Streaming auf mobilen Geräten und Smart-TVs. So sieht es normalerweise aus – zumindest hier in Deutschland:

Das bedeutet nicht, dass Sie nur auf 5.1-Surround-Sound zugreifen können. Für Dolby Atmos benötigt man die richtige Hardware, z. B. einen AV-Receiver oder eine 3D-Soundbar. Da es sich um eine objektbasierte Kodierung handelt, wird die Wiedergabe für Ihr Lautsprechersetup optimiert. Es ist etwas schwer herauszufinden und wird regelmäßig aktualisiert, aber die Chancen stehen gut, dass es sich um einen sogenannten EAC3-JOC handelt.

Wie man Dolby Atmos mit den Apple Airpods hören kann

Alles, was Sie brauchen, ist ein unterstütztes Apple-Gerät und die Apple Airpods. Die Hardware der neuesten Generation ist dazu in der Lage. Die Kopfhörer werden mit dem Abpiel-Gerät meist kabellos verbunden. Und das Gerät selber erkennt wiederum, dass ein Film mit Dolby Atmos-Inhalten läuft. Diese Information wird über die in der Filmdatei eingebetteten Metadaten übertragen.

Wenn Sie die Netflix-App geöffnet haben, sehen Sie das Netflix-Symbol in Ihren Kopfhörer-Einstellungen. Dort steht ein kleiner Text mit der Aufschrift „Dolby Atmos“ oder „Mehrkanalton zugänglich“. Dann müssen Sie nur noch auf die Schaltfläche „3D-Audio / Raumklang“ auf der rechten Seite drücken. Wenn der Button blau ist, geht es auch schon los!

Sie können sogar das dynamische Headtracking aktivieren oder deaktivieren. Ich empfehle das Headtracking sehr. Es löst die sogenannte Vorne-Hinten-Verwechslung. Außerdem klingt es noch mehr wie ein Kino-Sound-Erlebnis. Ein bisschen wie VR-Sound, aber ohne das HMD.

Auf einem iPhone sieht es so aus. Das linke Bild zeigt einen Film, der Spatial Audio unterstützt. In der Mitte ist 3d-Audio aktiviert. Und auf der rechten Seite ist ein Film zu sehen, der nur in Stereo abgemischt wurde. Hier kann man zumindest die „Spatialize Stereo“-Funktion von Apple aktivieren.

Etwas, das dem nahe kommt, was Netflix mit Ambeo macht, mit einem wichtigen Unterschied: Apple Spatialize Stereo verwendet Stereo als Quelle. Netflix hingegen nutzt den Mehrkanaleingang für Sennheiser AMBEO 2-Channel Spatial Audio.

Wird Android für Spatial Audio unterstützt werden?

Wahrscheinlich ja. Im Moment hat Android noch keine so saubere Implementierung und Pipeline von Spatial Audio wie etwa Apple. Von der Hardware mit Smart Devices und Kopfhörern bis hin zur Software mit dem Betriebssystem und den Apps. Derzeit ist jede Spatial-Audio-Technologie, die Google alias Alphabet unterstützt hier zu finden.

Aber die nächste Generation der Pixel Buds wurde bereits angekündigt. Die Galaxy Buds Pro hatten eine einfache Version von Head-Tracking. Und die neue Android-Version soll 3D-Audio-Funktionen haben. Langer Rede kurzer Sinn: Netflix wird weiterhin räumliche Audiotechnologien hinzufügen, die ein besseres Erlebnis schaffen.

Lassen Sie uns endlich einen tiefen Blick in die Technologie werfen, die für alle verwendet wird. Wir sind jetzt auf der gleichen Seite, also lasst uns herausfinden, wie sie etwas möglich gemacht haben, das unmöglich schien.

Was ist Netflix Spatial Audio Sennheiser AMBEO 2-Kanal?

Netflix hat sich also mit Ambeo zusammengetan. Diese Sennheiser-Marke ist bekannt für innovative Ideen im Bereich 3D-Audio. Wie sich herausstellte, haben die beiden Parteien schon seit einigen Jahren daran gearbeitet. Sie wollten wirklich sicherstellen, dass die endgültige Version nicht nur ein künstlicher Upmix wird. Oder eine abgespeckte Version, so wie es bei Musik-Streaming der Fall ist.

Sie wollten Tonmeister wie mich und Verbraucher gleichermaßen an Bord haben. Das ist ziemlich speziell und erfordert eine Menge Arbeit. Wie wird dieses Format an den Streaming-Dienst geliefert? Ein kurzer Überblick zeigt:

• man nimmt eine Mehrkanal-ADM-Datei vom Original-Soundtrack
• Anwendung der AMBEO-Nachbearbeitung, um eine Stereodatei zu erhalten
• Einholung der Zustimmung von allen intern Beteiligten
• Ersetzen der ursprünglichen Stereomischung durch die „immersivere“ Mischung

Wie wird Mehrkanalton verwendet?

Wie Sie wahrscheinlich wissen, werden die meisten der „großen“ Filme heutzutage mit Dolby Atmos abgemischt. Ich habe dieses hybride objektbasierte Format für 3D-Audio bereits in meinem Artikel über Dolby Atmos Music beschrieben. Einige Filme verwenden aber nur 5.1. Surround oder Stereo als Haupttonspur. So sehr ich Dolby auch kritisiere, denke ich, dass die Infrastruktur für Filme großartig funktioniert.

Leider braucht man für dieses Kinoerlebnis spezielle Hardware. Zum Beispiel Soundbars, Receiver oder Apple-Kopfhörer. Das könnte der Grund sein, warum Dolby nicht auf die Idee gekommen ist, die Netflix mit Ambeo hatte: 3D Audio nicht-exklusiv für jedermann bereitzustellen. Aber wer weiß?

Netflix nimmt also eine ADM-Wav-Datei – bevor es durch die Dolby Enkodierung verarbeitet wird – und wendet einen eigenen Algorithmus darauf an. Dieses Processing ist auf den Screenshots zu sehen, aber um die Dinge klar zu stellen:

• Der Algorithmus wendet keine Verarbeitung auf die Frontkanäle LCR (Left, Center, Right) an. Dadurch bleiben die Dialogintegrität und eine solide Mischung erhalten.
• Aber es fügt den Surround-Kanälen eine wesentlich größere Räumlichkeit hinzu. Dadurch wird das einhüllende, immersive Erlebnis noch weiter verstärkt.
• Es wird kein zusätzlicher Hall oder Raum hinzugefügt, was bei anderen Binauralizern der Fall ist und was die Kunden manchmal nicht mögen.
• Es ist, wie wir dachten, eine Mischung aus binauralem Audio (für Kopfhörer) und Übersprechunterdrückung (für Lautsprecher), genannt Transaural

Moment mal: Habe ich nicht gerade gesagt, dass es in einer Datei nicht gleichzeitig binaural und transaural sein kann? Ja! Aber da wir uns hier an Verbraucher und nicht an Tontechniker wenden, gefällt mir der Ansatz, den Netflix mit Ambeo verfolgt:

Was ist die Magie hinter Netflix Ambeo Spatial Audio?

Sie haben also gerade gelesen, dass es eine Verarbeitung gibt, die eigentlich super komplizierte Mathematik ist. Vor allem für transaurales Audio muss man eigentlich wissen, wo der Zuhörer sitzt, welche Lautsprecher verwendet werden usw. Man kann nur Vermutungen anstellen. Netflix weiß aber viel darüber, wie die VerbraucherInnen den Streaming-Dienst nutzen, und kann daher erahnen, was für die Mehrheit der Menschen funktioniert.

Letztendlich hat das Forschungsteam sehr viele Hörtests durchgeführt. Das ist der Grund, warum sie mit etwas mehr als nur 20 Filmen begonnen haben – über einen Zeitraum von zwei Jahren. Sie haben an der Abstimmung und den richtigen Einstellungen gearbeitet. Das ging sehr lange vor und wieder zurück.

Mir wurde gesagt, dass die von ihnen entwickelte Verarbeitung für die meisten Titel funktioniert. Eine weitere Feinabstimmung ist eigentlich nicht nötig, denn:

Warum sollte man eine Methode ändern, die für die meisten Filme funktioniert?

Wie Sie aus dem obigen Screenshot ersehen können, kann man die Lautstärke der Lautsprecher und den Grad der Spatialisierung einstellen. Außerdem werden keine Keyframes für einzelne Filmszenen festgelegt. Der Algorithmus arbeitet in einem Durchgang über den kompletten Dolby Atmos Filmtitel.

Was diesen Ansatz von der Konkurrenz unterscheidet, ist, dass diese Methode nicht nur mit Verbrauchern getestet wurde. Die Originaltonmischer – also die Personen, die den eigentlichen Film abgemischt haben – wurden in den Prozess einbezogen. Und nur wenn dieser Audio-Profi – der oder die den Audio-Inhalt besser kannte als jeder andere – die Ambeo-Verarbeitung genehmigte, wurde die Fassung in den Netflix-Streaming-Katalog aufgenommen.

Experten Fragen vom Tonmeister zu Netflix Spatial Audio

Wer noch mehr erfahren will – oder sich das Lesen hier ersparen möchte – kann einfach dieses Video anschauen. Ich war zu Gast im Live-Chat von Grobi.TV, dem Experten für Heimkino, Dolby Atmos, Auro 3D und alles was dazu gehört:

Welche HRTF verwendet Netflix?

Das Gute an binauralem Audio ist, dass die Methoden ziemlich zugänglich sind. Sie können leicht Ihre eigenen HRTF Modelle erstellen. So verwendet die Videoplattform YouTubeVR beispielsweise ein anderes Klangprofil als Facebook360. Netflix hat sich entschieden, ein eigenes Profil zu erstellen, das am besten in Kombination mit transauralem Audio funktioniert.

Bei Apple gibt es einen Trend zu personalisiertem HRTF. Da jeder Mensch ein anderes Paar Ohrformen hat, sollte die räumliche Audiowiedergabe idealerweise angepasst werden. Ich habe einen eigenen Artikel über genau das geschrieben. Die Chancen stehen also gut, dass auch Netflix von einem generischen Kopfmodell auf ein individuelles Modell umsteigen wird, sobald die Masseninfrastruktur vorhanden ist. Der derzeitige Ablauf würde dies nicht zulassen, da die HRTF vorcodiert ist. Aber das kann natürlich in Zukunft aktualisiert werden.

Was die Unterdrückung des Übersprechens (CTC) angeht, so scheint es möglich zu sein, eine Einstellung zu finden, die für die meisten Menschen geeignet ist. Die meisten Verbraucher sitzen auf einer Couch oder einem Bett, während der Fernseher ein paar Meter entfernt steht. Das Raummodell ist vergleichbar. Natürlich macht es einen großen Unterschied, ob eine Stereo-Soundbar oder ein interner Monitorlautsprecher verwendet wird. Dennoch scheint es einen befriedigenden Weg zu geben, den Klang immersiver zu machen als einen Stereo-Soundtrack. Ich habe bei meinen Projekten ähnliche Erfahrungen machen können.

Warum wurde die ursprüngliche Stereomischung ersetzt?

Apropos ursprüngliche Stereofassung. Normalerweise wird ein Film in einer Surround- und einer Stereomischung geliefert. Dies ist einer der Gründe für den Erfolg von Dolby. In einer perfekten Welt ist ein spezieller Downmix mit objektbasiertem Audio nicht erforderlich. Der Inhalt wird auf die bestmögliche Weise wiedergegeben. Sie sind nicht mehr an eine Kanalreihenfolge gebunden.

Historisch gesehen haben die meisten Filme aus verschiedenen Gründen aber immer noch eine eigene Stereoversion. Fernsehsender haben zum Beispiel andere Lautstärkeanforderungen als ein Kino. Eine solche Stereoversion funktioniert auf so gut wie allen Geräten und Plattformen hervorragend. Egal ob Lautsprecher, Kopfhörer, Fernseher, etc. Aber es ist kein immersives System, weil alle räumlichen Klanginformationen entfernt werden.

Netflix hat sich entschieden, diese Stereo-Version durch das Spatial Audio Sennheiser AMBEO 2-Kanal-System zu ersetzen. Als Produzent von Inhalten hätte ich diesen neuen immersiven Mix gerne mit dem klassischen Downmix verglichen und getestet. Aber Netflix hat zwei gute Gründe, das zu tun.

Erstens ist das Team davon überzeugt, dass die immersive Version immer besser klingen wird als die eindimensionale Stereoversion.

Zweitens bietet Netflix bereits mehr als 100 synchronisierte Audioströme pro Film. Dies ist auf verschiedene Bitraten und Qualitäten zurückzuführen, die ohne Verzögerung oder Aussetzer gestreamt werden müssen – und zwar alle synchron. Außerdem gibt es mehrere Sprachversionen und sogar Audiobeschreibungen. Außerdem haben wir den zusätzlichen 5.1-Surround-Sound von Dolby. Stellen Sie sich vor, Sie hätten mehrere Versionen von immersivem Audio. Nicht gerade verbraucherfreundlich, oder?

Gibt es weitere Updates und Filme?

Ja, es wird mehr Filme auf Netflix mit dieser 3D Raumklang Funktion geben. Wie Sie jetzt wissen, dauert diese Testphase eine Weile. Netflix möchte, dass die Filmproduzenten ein gutes Gefühl dabei haben. Sie versuchen, die ursprüngliche Klangfarbe beizubehalten, aber dennoch eine neue Note hinzuzufügen. Ziemlich konservativ, wenn man so will, aber präzise.

Wenn ein Film noch nicht über diese Funktion verfügt, bedeutet das nicht, dass es den Leuten nicht gefallen hat. Netflix ist nicht unbedingt die Eigentümer der Filme. Natürlich wollen sie, dass das Endergebnis sauber ist und dass der Tonmeister damit einverstanden ist. Und da ich selbst Tontechniker bin, weiß ich diese Wertschätzung wirklich zu schätzen.

Welche Netflix-Filme sind für das Streaming mit Sennheiser Ambeo verfügbar?

Um diesem Artikel etwas Substanz zu geben, habe ich mir die „Mühe“ gemacht, alle aktuell verfügbaren Filme von Netflix abzutippen. Suchen Sie dazu einfach bei Netflix nach Spatial Audio. Welche Filme verfügbar sind und sofort gestreamt werden können, finden Sie hier:

• Red Notice
• Stranger Things
• Adam Project
• The Witcher
• Interceptor
• Kate
• Raising Dion
• Sie lieb – Bete und Gehorche
• Castlevania
• Locke & Key
• Jennifer Lopez: Halbzeit
• The Unforgivable
• The Order
• Fear Streat Teil 1 1994
• Fear Streat Teil 2 1978
• Fear Streat Teil 3 1666
• Spuk in Bly Manor
• Warrior Nun
• Black Summer
• Archive 81
• Selena Die Serie
• True Story
• Lulli
• Seoul Vibe
• The Good Nurse
• Schlummerland
• Resident Evil
• You – Du wirst mich lieben
• Your Place or Mine
• Luther: The Fallen Sun
• Tour de France

Netflix hat gerade mehr als 200 Millionen Menschen den Zugang zu räumlicher Audiotechnologie ermöglicht. Finden Sie noch heute heraus, wie 3d-Sound die perfekte Lösung für Ihr immersives Projekt sein kann.

Sennheiser Ambeo 2-Kanal Spatial Audio für Live-Streaming

Sennheiser stellt Ambeo 2-Channel Spatial Audio für Live-Produktionen vor und richtet sich damit an Rundfunkanstalten und Studios, insbesondere für Sportveranstaltungen. Diese Technologie zielt darauf ab, ein immersives Erlebnis für Stereokopfhörer und Lautsprecher zu schaffen. Dabei wird der Surround-Mix in ein verbessertes 2-Kanal-Erlebnis übersetzt.

Sennheiser stellte auf der NAB Show einen Live-Renderer-Prototyp für Ambeo 2-Channel Spatial Audio vor. Gesteuert wird er von der Anubis-Software der Rundfunkindustrie. Der Live Renderer wandelt mehrkanalige Surround- und Immersive-Formate in Echtzeit in zwei Audiokanäle um und bietet Steuerelemente zur Feinabstimmung der Raumeinstellungen für die Integrität der Mischung und die Klarheit der Dialoge. Im Grunde ist es das, was Netflix Spatial Audio macht, aber in Echtzeit.