360 Reality Audio – Was ist das Sony 360RA Erlebnis im Detail?

Ein Gastbeitrag von Daniela Rieger

„Immerse yourself in sound all around you. As real as if you are there at a live concert or with the artist recording in a studio. With 360 Reality Audio, music has never been so immersive and so real“ (Sony, 2020).

Neben Dolby Atmos Music, was zurzeit in aller Munde ist, gibt es noch eine weitere immersive, objektbasierte Technologie zur Musikproduktion: 360 Reality Audio von Sony. Auch als “Sony 360RA” bekannt. Ein Überblick über verschiedene Musiktitel in Atmos Music und 360 RA findet sich hier.

Ob das Vergleichsprodukt Dolby Atmos Music auch das hält, was es verspricht, wurde bereits in diesem Blogpost untersucht: Was kann Dolby Atmos Music klanglich wirklich?.

Hier soll es nun aber nicht um Dolby, sondern um die technischen Hintergründe der 360 Reality Audio Technologie gehen. Schauen wir mal, was Sony neben der Playstation 5 noch an 3D Audio Produkten hat.

Was ist 360 Reality Audio?

360 Reality Audio ist eine kommerzielle objektbasierte Technologie zur Wiedergabe immersiver Audioinhalte, welche ebenfalls Ende 2019 vorgestellt wurde. Anders als Dolby Atmos Music wird bei 360 Reality Audio rein objektbasiert produziert und übertragen. 360 RA basiert auf dem MPEG-H Codec des Fraunhofer IIS – dem Fraunhofer-Institut, das den “mp3”-Codec entwickelt hat.

Was bedeutet eigentlich 3D-Audio / 360 Grad Sound?

Die Begriffe „3D-Audio“ oder „360 Grad Sound“ bezeichnen ein Hörerlebnis, bei dem der Schall aus allen Richtungen (= dreidimensional) um den Zuhörer herum wahrgenommen werden kann, einschließlich oben und unten. Hier wollen wir uns mal nicht an den Begrifflichkeiten aufhängen, denn am Ende beschreiben die Zahlen und Worte das Gleiche.

Durch die dreidimensionale Wiedergabe kann das emotionale und räumliche „Eintauchen“ des Hörers in die Klanglandschaft verstärkt werden. Der Klang wirkt so räumlich, wie wir Menschen ihn aus unserer natürlichen Umgebung kennen. 3D-Audio kann über verschiedene Wiedergabesysteme gehört werden: Sogenannte „3D-Lautsprecher-Setups“, 3D-Soundbars oder binaural über Kopfhörer.

Kann jeder Kopfhörer 3D-Audio?

Die Wiedergabe von Musik über Kopfhörer hat im Zeitalter der mobilen Endgeräte stetig an Bedeutung gewonnen. Neben herkömmlichem Stereo-Ton existiert eine weitere Wiedergabemethode, die die beiden Audiokanäle noch cleverer nutzt: Binaurales Audio, welches sich auf den Zweikanalton bezieht, der in das linke und rechte Ohr des Hörers gelangt.

Im Gegensatz zur Stereo-Wiedergabe über Kopfhörer werden binaurale Signale durch eine Kombination von Zeit-, Intensitäts- und Spektralfunktionen gefiltert, um die Lokalisierung des Gehörs nachzuahmen.

Die beim natürlichen Hören vorkommenden psychoakustischen Effekte werden beim Binaural-Rendering durch digitale Signalverarbeitungstechniken simuliert. Dadurch sollen realistische Hörereignisse durch präzise Steuerung der Schalldrucksignale, die das Trommelfell erreichen, erzeugt werden.

Die Wiedergabe von 3D-Audio über Kopfhörer hängt somit nicht vom Kopfhörer ab, sondern von der Technologie die zur Mischung verwendet wurde. Wurde ein Song so produziert, dass er 3D-Audio über Kopfhörer anbietet, kann er mit jedem beliebigen Kopfhörer gehört werden.

Um also die Frage zu beantworten: Ja, jeder Kopfhörer kann 3D-Audio wiedergeben, wichtig ist nur ein funktionierender linker und rechter Kanal. Mit hochwertigeren Geräten macht es aber natürlich etwas mehr Spaß!

Was ist objektbasiertes Audio?

Damit nun nicht für jedes mögliche Wiedergabesystem für 3D-Audio eine eigene Mischung erstellt werden muss, gibt es bereits das Prinzip der „Universal Delivery“. Diese bietet die Möglichkeit einer qualitativ eindrucksvolle Wiedergabe für eine Vielzahl von Ausgabeformaten, jeweils angepasst an das Wiedergabesystem. Beispielsweise mittels objektbasiertem Audio, was über den MPEG-H 3D-Audio Codec übertragen werden kann.

Im Vergleich zum kanalbasierten Audio, bei dem die Lautsprechersignale als Produktions-Endformat gespeichert und übertragen werden, werden bei objektbasiertem Audio die Audioinhalte durch Audioobjekte beschrieben.

Ein Audioobjekt kann dabei als eine virtuelle Klangquelle betrachtet werden, die aus einem Audiosignal mit zugehörigen Metadaten wie beispielsweise Positionen oder Lautstärke besteht. Audio-Objekte können unabhängig der Lautsprecherpositionen im Raum platziert werden.

Um objektbasierte Produktionen wiederzugeben, wird ein sogenannter Audio-Renderer benötigt. Das Audio-Rendering stellt den Prozess der Generierung von Lautsprecher- oder Kopfhörersignalen dar, die auf Grundlage der jeweiligen Wiedergabesysteme der Endkonsumenten (Lautsprechersysteme, Soundbars, Kopfhörer, mobile Endgeräte usw.) erstellt werden und die Objekte innerhalb dieser Umgebung passend berechnen und wiedergeben.

Hier wurde bereits betrachtet, wie das sogenannte Next Generation Audio (NGA) in der Praxis genutzt wird.

Wiedergabemöglichkeiten von 360 Reality Audio

360 RA ist über die Musik-Streaming-Dienste Deezer HiFi (360 by Deezer Mobil-App), Tidal HiFi (Mobil-App), Nugs.net HiFi (Mobil-App) für die Kopfhörerwiedergabe verfügbar. Außerdem über Amazon Music HD* zur Wiedergabe auf dem Amazon Echo Studio* Lautsprecher. Sony arbeitet hierfür mit verschiedenen Musikunternehmen zusammen. Infolge dieser Kooperationen werden sowohl bereits in Stereo bzw. 5.1 Surround veröffentlichte Alben und Titel im 360 RA Format herausgebracht, als auch neu dafür produziert.

Produktion von 360 RA Musik

Die Produktion von Audioinhalten in 360 Reality Audio ist mit der 360 Reality Audio Creative Suite (360 RACS) möglich. Diese Suite ist ein Tool für objektbasierte Mischungen, mit dem man Audioobjekte im dreidimensionalen Raum positionieren und bewegen kann.

360 Reality Audio Creative Suite

Die 360 Reality Audio Creative Suite (360 RACS) ermöglicht es, Musik in einem immersiven, räumlichen Klangfeld zu produzieren, indem das Tool als Plug-In in DAWs verwendet werden kann. Unterstützt werden aktuell Avid ProTools und Ableton Live; Sony schreibt, dass das Plug-In auch in anderen, gängigen DAWs verwendet werden kann, allerdings dafür noch kein offizieller Support möglich ist.

360 Reality Audio ist rein objektbasiert, es wird somit mit statischen und dynamischen Objekten gearbeitet. Dynamische Objekte können sich im Raum bewegen. Außerdem ermöglicht die 360RACS eine Gruppierung verschiedener Objekte, es werden insgesamt bis zu 128 Objekte unterstützt.

Die 360 Reality Audio Creative Suite verfügt über eine Binauralisierung für die Wiedergabe mit Kopfhörern und bietet die Möglichkeit, eigene HRTF-Sets zu laden. Damit kann der spätere Klang bei verschiedenen Abspiel Szenarien vorgehört werden.

Exportiert wird am Ende das Sony-eigene „.sam“-Format, was Metadaten und Audio enthält. Die Weiterverarbeitung und Encodierung dieser Exporte erfolgt nach jetzigem Wissensstand in Absprache mit Sony.

Was nutzt Sony 360RA für Audio Codecs?

360 Reality Audio basiert auf dem MPEG-H 3D Audio Standard (MPEG-H). MPEG-H ist ein Next Generation Audio Codec und unterstützt NGA-Merkmale wie immersives Audio (kanal-, objekt-, und szenenbasierte Übertragung sowie deren Kombinationen). Außerdem ermöglicht es im Gegensatz zu Dolby Atmos Interaktivität und Personalisierung. Darüber hinaus bietet MPEG-H eine flexible und universelle Bereitstellung der produzierten Inhalte.

Der MPEG-H 3D Audio Standard wurde u.A. speziell für die Integration in Streaming-Anwendungen entwickelt. 360 Reality Audio unterstützt die Übertragung von bis zu 24 diskreten/unabhängigen Objekten, nutzt dabei aber nicht den kompletten Funktionsumfang von MPEG-H, beispielsweise Interaktivität oder Kanäle.

Audio wird bei MPEG-H als eine Kombination aus Audio Komponenten und zugehörigen Metadaten beschrieben, wobei zwischen statischen und dynamischen Metadaten unterschieden wird: Statische Metadaten bleiben konstant und beschreiben beispielsweise Informationen zur Art des Audioinhaltes. Dynamische Metadaten hingegen verändern sich über die Zeit (z.B. in den Positionsinformationen).

Fazit

Insbesondere bei der Encodierung zeigt sich ein deutlicher Unterschied zwischen Dolby Atmos Music und 360 Reality Audio. Bei Letzterem wird durch den MPEG-H Codec durchgehend und konsequent eine Kombination aus Audio und zugehörigen Metadaten übertragen, um am Endgerät des Anwenders auf das entsprechende Wiedergabesystem gerendert zu werden.

Sony 360 ist einen Schritt voraus

Somit kann bei dieser Technologie ein grundlegender Mehrwert objektbasierten Audios ausgespielt werden: In der Produktion wird eine Mischung erstellt, welche durch eine Distributionsdatei übertragen wird und beim Konsumenten auf vielen möglichen Wiedergabesystemen abgespielt werden kann.

Somit zeigt sich, dass bei genauerer Betrachtung nur 360 Reality Audio als durchgehend objektbasierte Technologie bezeichnet werden kann. Hier sind sowohl die Vorgänge der Produktion als auch Wiedergabe rein objektbasiert.

Was ist der Unterschied zu Dolby Atmos?

Bei Dolby Atmos Music hingegen wird bereits während der Produktion mit einer Mischung aus Kanälen und Objekten gearbeitet und bei der Encodierung zweier unterschiedlicher Dateien der objektbasierte Prozess verlassen. Bei der Wiedergabe von Dolby Atmos Music über Kopfhörer über einige Ausspielwege kann aufgrund der AC-4 IMS Zweikanal-Datei nicht von einer objektbasierten Wiedergabe gesprochen werden – durch die Vor-Binauralisierung erreichen den Endkonsumenten keine Merkmale von objektbasiertem Audio.

So ist beispielsweise eine Personalisierung durch Analyse der Ohrform nicht möglich, was bei 360 Reality Audio durch die objektbasierte Übertragungsweise implementiert wurde: Da die Binauralisierung erst in der Wiedergabe-App erfolgt, können durch Verwendung der Sony Headphone Connect App noch personalisierte Einstellungen erfolgen.

Egal welches Format – am Ende hängt es immer noch am richtigen Content, die Menschen zu begeistern. Interesse, 360 Reality Audio zu produzieren? Weitere Fragen, Ideen oder Anregungen? Hier geht’s zur Kontakt-Seite!

*Anzeige