Head-Locked Stereospur mit Ambisonic mixen

Stand der Dinge

Eines der Probleme, nachdem in der Facebook Spatial Audio Gruppe wohl am meisten gefragt wird, ist folgendes: Mischungen, die mit der FB360 Workstation erstellt wurden, haben eine obligatorische 8-kanalige Ambisonic wav-Datei im TBE-Format, sowie eine optionale Stereo-Spur für Musik, also ein sogenanntes head-locked Audio, das sich im Gegensatz zur Spatial Audio Datei bei einer Kopfbewegung nicht mit dreht. Head-Tracking heißt also, dass sich der Ton zur Blickrichtung mitverändert, head-locked bleibt bei der Wiedergabe von der Blickrichtung unabhängig. Wer wen Ambisonics Neuland ist, dem rate ich zuerst meinen kleinen Artikel als Einführung zu lesen: Ambisonics für Virtual Reality Video.

Soweit so gut, bei Facebook mit seinem eigenen TBE-format zu Arbeiten kein Problem. Der eigene Audio 360 Encoder kann neben dem 360° Video, die mehrkanalige Spatial Sound Datei, sowie die statische head-locked als Input auswählen und er gibt ein finales Video-File mit den 8 + 2 Audiokanälen.

YouTube unterstütz aber schon etwas länger 360° Sound, aber als 4-kanaliges Audio, Ambisonics erster Ordnung im Format ambiX. Wenn man nun beim Facebook-Encoder versucht, als Format nicht „Facebook 360 Video“, sondern „YouTube Video (with 1st order ambiX) auszuwählen“, wird die Option „Head-Locked Stereo“ ausgegraut.

Weil diese Tatsache sehr unbefriedend ist und im besagten social media Kanälen entsprechend für Forure sorgt, wollte ich mit diesem Artikel Abhilfe schaffen.

Zurück zum Thema, dass der Encoder hier den Dienst verweigert, ist gar nicht mal seine Schuld: YouTube unterstütz hybrid Format von Facebook einfach nicht. Man kann nun lediglich seine 8-kanalige tbe-Datei automatisch ins 4-kanalige ambiX transcodieren lassen, das statische Stereo wird außen vorgelassen.

Doch was macht man nun mit Musik? Bevor ich eine Grundsatzdiskussion losbreche, ob Musik spatial oder statisch sein soll, das habe ich hier schon etwas diskutiert.
Jetzt aber wirklich zu den Lösungsansätze:

Workarounds für head-locked Stereo

Mach‘ es Mono

Die wohl einfachste Lösung ist es, seine head-locked Stereo-Datei in eine summierte Mono-Datei umzuwandeln. Diese wird dann auf den ersten Kanal der Ambisonics-Datei geroutet. Dieser repräsentiert, unabhängig ob TBE oder ambiX, einen mono-kompatiblen, omnidirektionalen Stream.

Diese Lösung ist also für Voice-Overs am besten geeignet, welche meistens mono und als Im-Kopf-Lokalisation gewünscht sind.

Stereo Musik wird danach aber deutlich schlechter klingen, weil alle Seitenanteile verloren gehen. Generell sollte man hier aufpassen, dass der erste Kanal nicht zu laut wird, da selbst wenn der Pegel nicht 0dBFS ist, kann das beim späteren Decodieren der binaurale Wiedergabe zu Verzerrungen führen.

MS – Mid/Side Stereo

Eine ähnliche Herangehensweise, die aber die Seitenanteile beibehalten kann ist Folgende. Die head-locked Stereo-Spur, welche normalerweise zwei Spuren hat, also linker und rechter Kanal, wird jetzt MS-codiert. Dabei entählt der erste Kanala alle Mono-Anteile (links+rechts)x0.5 und der zweite Kanal alle Seiten-Anteile (links-rechts)x0.5. Nun wird der erste Kanal, wie beim Mono-Workaround beschrieben auf den ersten Kanal der Spatial Audio Quelle geroutet.

Der Zweite Kanal kann nun beliebig auf eine der anderen Achsen verteilt werden. Dabei empfiehlt sich die Höhen-Achse, weil das die Achse ist, um die die meiste Rotation beim späteren Betrachten auf der VR-Brille geschehen wird. Somit würde sich das Seitensignal nur ändern, wenn der Zuschauer seinen Kopf nach oben oder unten bewegt, bzw. seinen Kopf nach links oder rechts rollt, warum auch immer man das tun mag.

Quad-Layout

Eine andere Herangehensweise ist folgende. Hier werden die beiden Kanäle des head-locked Stereo tatsächlich im Raum platziert, z.B. bei +45 und -45° Azimuth. Jetzt hätte man genau das erreicht, was man ja eigentlich nicht will – die Musik für sich merkbar mitdrehen – aber wir sind ja noch nicht feritg. Deswegen dupliziert man einfach die Musik und platziert die Kanäle 3 und 4 auf -135° und +135° Azimut.

Nun hat man quasi eine Quadrofonie geschaffen, vergleichbar eines 5.1 Set-Up ohne Center + LFE und symmetrischer Winkelverteilung von 90°. Es empfiehlt sich, mit den Parametern „Spread“ zu hantieren, um beim head-tracking zu meiden, dass die 4 Objekte im Raum wirklich verortbar sind, bei höherem Spread also diffuser werden und etwas ineinander über gehen.

Man kann noch mehr Feintunen und statt 4 Objekt insgesamt 6 nehmen und Winkel im Abstand von 60° wählen. Dabei wird das head-tracking, also das Mitbewegen der Musik weniger offensichtlich, dafür wird es mehr an den Klang des Mono-Workaround angenähert. Ähnlich ist es mit dem Ansatz, die 4 Objekte nicht 100% je links, rechts, links, rechts zu routen, sondern jeweils noch z.B. 50% des jeweils anderen Kanals hinzuzumischen.

Fazit

Es gibt viele Möglichkeiten, doch keine ist wohl perfekt, trotzdem ist es mit etwas Erfahrung möglich das Ganze so hinzubiegen, dass der Laie den Unterschied nicht merkt. Stark abhängig ist eben, was nun auf der head-locked Spur für Inhalte sind, z.B. unterscheidet sich klassische Musik von elektronischer so stark, dass hier ein jeweils anderer Workaround Sinn macht.

In Kombination mit dem 3D Audio Stream kann es sein, dass der Unterschied kaum zu hören ist, etwa wenn es sich um typischen Filmton handelt. Bei sensiblen Musikanwendungen kann es aber schnell zu einem Problem werden.

Wünschenswert für den Audio 360 Encoder der FB360 Workstation wäre, einen der Workarounds automatisch zu implementieren, weil sonst jedes Mal eine neue Mischung erstellt werden muss mit Spatial Audio, das die Musik enthält. Das kann fürs bloße Testen schnell lästig werden. Noch besser wäre es, wenn eine head-locked Stereo Spur zum Standard auf allen Virtual Reality Plattformen oder etwa von MPEG-H unterstützt wird.

Ich hoffe ich konnte mit meinem Artikel behilflich sein. Über Anregungen oder Vorschläge freue ich mich per Mail.