Immersive Audio Model and Formats (IAMF) erschreckt Dolby Atmos?

Immersive Audio Model und Formats erschreckt Dolby Atmos

Entdecke die Zukunft des Klangs durch die Zusammenarbeit von Samsung und Google im Immersive Audio Model and Format (IAMF). Diese 3D-Audiotechnologie soll die Wahrnehmung, Interaktion und Genuss von Audio revolutionieren.

Speziell für Heimgeräte entwickelt, ermöglicht IAMF ein Hörerlebnis aus allen Richtungen. Nutzer können den Klang individuell anpassen und auf immersive Weise feinabstimmen. Tauche ein in diese bahnbrechende neue Audiotechnologie, die ihre Vorgänger übertrifft und die Zukunft des Klangs neu definiert!

Key Takeaways

• Samsung und Google haben das Immersive Audio Model and Format vorgestellt, eine revolutionäre Audio-Technologie, die anpassbare Audiofunktionen, KI-basierte Szenenanalyse und vertikalen Sound bietet.
• Dies könnte ernsthafte Konkurrenz für Dolby Atmos AC-4 sein und zielt auf plötzliche Explosionen von Heim-TV-Lautsprechern ab und möglicherweise YouTube
• IAMF erleichtert die Entwicklung von Klang-Ökosystemen, indem es einen Standard für konsistente hochwertige Erfahrungen über Plattformen hinweg bietet.
• Reale Anwendungen werden genutzt, um immersive, lebensechte Audioerlebnisse in Virtual Reality Gaming & Metaverse zu bieten.
• Schau dir den GitHub-Link für weitere Informationen an: https://aomediacodec.github.io/iamf/

Immersive Audio Model and Formats

Im Jahr 2020 arbeiten Samsung und Google gemeinsam an der Entwicklung des Immersive Audio Model and Format (IAMF), einer Audiotechnologie, die Klangdaten verarbeitet, um 3D Audio Erlebnisse zu erzeugen. IAMF integriert anpassbares räumliches Audio und Fähigkeiten mit KI-basierter Szenenanalyse, um vertikale Klänge zu erzeugen. Dies ermöglicht es den Nutzern, eine optimale Klangqualität in verschiedenen Home-Audio-Setups zu erleben, ohne das ursprüngliche Format der Audiodaten in ihren Modellen zu verändern.

Die neue Version ist ein Meilenstein für alle Arten von Audiomöglichkeiten und setzt einzigartige Maßstäbe, wenn es darum geht, fesselnde 3D-Hörerlebnisse jenseits der traditionellen linken und rechten Stereokanäle zu bieten. Das Beste daran: Es ist Open Source und leichter zugänglich als die Konkurrenz.

Schlüsselkomponenten der IAMF-Technologie

Die IAMF-Technologie kombiniert drei Funktionen, um ein überragendes Klangerlebnis zu schaffen, das sich an die Vorlieben und die Umgebung des Nutzers anpassen lässt:

• KI-gesteuerte Szenenanalyse,
• Audio-Anpassungsmöglichkeiten und
• vertikaler Klang.

Diese fortschrittliche Lösung macht es möglich, dass jedes Heim-Audiogerät – einschließlich Spielekonsolen, mobile Geräte, Heimkinosysteme oder sogar eine einfache Soundbar – das ultimative Hör- und Wiedergabeerlebnis genießen kann.

Anpassbares personalisierbares Audio

Mit der anpassbaren Audiofunktion von IAMF haben die Benutzer die Möglichkeit, ein noch intensiveres und maßgeschneidertes Klangerlebnis zu erleben. Sie können eine Feinabstimmung ihres 3D-Audios vornehmen, indem sie Dialoge, Hintergründe, Charakter-Dialoge, Musik und andere Audiodaten in einzelnen Layern unabhängig voneinander anpassen, um die gewünschten Lautstärke-Einstellungen für verschiedene Mischkonfigurationen festzulegen.

Dadurch erhält der Hörer ein höheres Maß an Kontrolle über seine Wiedergabe, da er bestimmte Elemente in ihnen genau so einstellen kann, wie er sie hören möchte. Durch den Einsatz dieser Technologie kann man beim Sport anders hören. Die Tonspur des Spiels kann von der Kommentarspur isoliert werden, während die Lautstärke beider Spuren individuell angepasst werden kann, je nachdem, worauf sich das Publikum zu einem bestimmten Zeitpunkt konzentriert!

Das IAMF bietet mehrere Optionen, die den Menschen eine größere Auswahl beim Umgang mit geistigem Material ermöglichen und so eine optimale Nutzung seiner Funktionalität sicherstellen. Von der Trennung von Klängen zwischen zwei Kopfhörern bis hin zum subtilen Herumspielen an den Pegeln einer Tonspur. Die Möglichkeiten sind endlos, allein dank dieser technologischen Fortschritte, die es uns erlauben, unsere Reichweite im Bereich des Hörens kollektiv immer weiter auszudehnen!

AI-basierte Szenenanalyse

Durch den Einsatz von Deep Learning und KI-Technologie kann das IAMF Szenen analysieren, um durch dynamische Änderungen der Klangelemente ein immersives Klangerlebnis zu erzeugen. Dazu gehören die Veränderung von Audiopegeln, die Betonung bestimmter Aspekte des Inhalts sowie die Verstärkung von Effekten bei Bedarf, z. B. während Actionsequenzen oder zur Betonung von Dialogen zwischen Szenen oder Teilen einer Film-Szene. Der Einsatz dieser Technologie garantiert einen ausgewogenen, realistischeren und auf das abgespielte Video abgestimmten Klang.

Ich bin zwar sehr an den Fortschritten der objektbasierten Audiotechnik interessiert, bin aber der festen Überzeugung, dass die wahre Entfaltung ihres Potenzials in der Nutzung der Möglichkeiten der künstlichen Intelligenz (KI) liegt. Trotz der immensen Fähigkeiten und des Fachwissens zahlloser Toningenieure auf der ganzen Welt übersteigt die Komplexität, die mit der vollständigen Optimierung von objektbasiertem Audio verbunden ist, die Möglichkeiten des Menschen allein.

Vertikaler Klang mit Höhen

Die IAMF-Technologie bietet ein verbessertes 3D-Klangerlebnis, da sie sich auf die vertikalen Aspekte des Klangs konzentriert. Dies ermöglicht ein realistischeres und eindringlicheres Klangerlebnis, wie z.B. das Fliegen von Vögeln oder Explosionen in Filmen, bei denen man nicht nur Geräusche hören, sondern auch die Höhe wahrnehmen kann.

Dieser Realismus ist etwas, das IAMF von anderen Technologien unterscheidet, wenn es darum geht, fesselnde Klanglandschaften zu schaffen und mit verschiedenen Arten von hörbaren Phänomenen zu interagieren. Mit diesem Maß an Innovation in einer so fortschrittlichen Technologie stehen wir zweifelsohne vor aufregenden Zeiten für die Erforschung von Audio!

Die Open-Source-Revolution: IAMF für alle

IAMF, ein Open-Source-Audiostandard, der das Klangerlebnis in 3D verbessert, ist für zahlreiche Branchen von Vorteil. Er ermöglicht es ihnen, die Technologie an ihre eigenen spezifischen Bedürfnisse anzupassen. Sie können sie in Produkte oder Dienstleistungen integrieren und ein Netzwerk von Fachleuten aufbauen, die zusammenarbeiten, um IAMF selbst zu verbessern. Die Demokratisierung dieser Art von Audiotechnologie eröffnet neue Möglichkeiten: eine stärkere Beteiligung verschiedener Einrichtungen an der Entwicklung, eine kostengünstigere Zugänglichkeit und neue Möglichkeiten bei bestimmungsgemäßem Einsatz.

Erweiterung der Grenzen von Audioerlebnissen

Bei Spielen trägt dieses innovative Tool dazu bei, die Unterhaltung der Spieler zu verbessern, indem es realistische Klänge erzeugt, die durch verbesserte Effekte noch verstärkt werden, so dass die Spieler aufgrund all dieser spürbaren Vorteile mehr Spaß an ihren Abenteuern haben, was letztendlich dazu führt, dass sie sich während der Spielsitzungen viel mehr einbezogen fühlen als früher, als es noch kein IAFM gab.

Schließlich kann man die wesentliche Rolle, die IAFM bei der Entwicklung des Metaverse spielt, nicht ignorieren. Es bietet den Nutzern eine unvergleichlich angenehme, lebendige Klangatmosphäre durch dynamischen, detaillierten und ausgewogenen Sound und authentische Umgebungen, die sie vorher noch nie erlebt haben!

Der Weg in die Zukunft für Immersive Audio Model und Format

Die Zukunft von IAMF sieht vielversprechend aus, mit kontinuierlichen Untersuchungen und Verbesserungen, die auf die Entwicklung von immersiven Audioerlebnissen in einer Vielzahl von Branchen und Anwendungen abzielen. Neue Potenziale für immersiven Sound sollen erforscht werden, während gleichzeitig die technischen Ressourcen zur Verbesserung dieser Technologie optimiert werden. Es wird davon ausgegangen, dass diese Technologie in verschiedenen Branchen wie der Fertigung eingesetzt werden kann, indem den Nutzern verbesserte auditive Produkte durch Robotik oder additive Produktionsverfahren angeboten werden.

Da die Forschung, an der Tech-Giganten wie Samsung und Google beteiligt sind, die Entwicklungen im IAMF-Bereich weiter vorantreibt, wird sie unweigerlich die Art und Weise beeinflussen, wie wir Sound jetzt und in Zukunft sehen – und über verschiedene Plattformen ein fortschrittliches Audio-Niveau der Immersion bieten, das zuvor unvorstellbar war. Auf dem Weg dorthin werden grenzenlose Möglichkeiten erschlossen.

In der Zukunft warten enorme Möglichkeiten darauf, dass man sie nutzt. So stellen wir sicher, dass jeder angemessen davon profitiert, ohne etwas unversucht zu lassen, wenn wir hochmoderne Innovationen einbeziehen, die das Gesamterlebnis des Benutzers verbessern, das durch die Interaktion zwischen Mensch und Maschine ausgelöst wird, die hauptsächlich durch Audio-/Sound-Technologien (wie z.B. – IAMF) in ihrem Kern angetrieben wird!

Zusammenfassung IAMF (Audiomodell und -formate)

Die Zukunft des Klangs wird durch die Unternehmen Samsung und Google revolutioniert. IAMF bietet anpassbare Audioerlebnisse, die durch KI für die vertikale Nutzung in einer Vielzahl verschiedener Anwendungen, wie z. B. virtuelle Realität, Spieleplattformen oder sogar das Metaverse, unterstützt werden.

Die Möglichkeiten, die durch diese Art von immersivem Audio geschaffen werden, sind aufgrund der Deep-Learning-Technologie und ihrer kontinuierlichen Weiterentwicklung praktisch unbegrenzt. Das bedeutet, dass wir mehr denn je Zugang zu immer ansprechenderem Content haben werden, die auf unsere individuellen Bedürfnisse zugeschnitten sind.

Expertenperspektive

Als Experte, der sich intensiv mit dem Thema 3D Audio beschäftigt, habe ich ein differenziertes Verständnis für die potenziellen Vorteile und Grenzen dieses Themas.

Pros des IAMF-Standards

Positiv zu vermerken ist, dass die Einführung eines Open-Source-Standards wie IAMF einen bemerkenswerten Fortschritt bei der Demokratisierung moderner Audiotechnologie darstellt.

Die Tatsache, dass keine Lizenzgebühren anfallen, ist ein bedeutender Vorteil, der die Zugänglichkeit fördert und ein breiteres Spektrum von Herstellern und Entwicklern zur Teilnahme ermutigt, was zu mehr Innovation und Erschwinglichkeit bei Heim-Audiogeräten führen kann.

Darüber hinaus ist die Integration von KI-gestützter Szenenanalyse ein bemerkenswerter Fortschritt, der eine automatische Optimierung von Audiospuren für unterschiedliche Inhalte verspricht und so das Gesamterlebnis für die Nutzer verbessert. Lesen Sie in meinem anderen Artikel, wie KI für immersives Audio genutzt werden kann.

Schattenseiten der Modelle und Formate IAMF

Neben diesen vielversprechenden Fortschritten bestehen jedoch auch gewisse Bedenken. Während der Einsatz von KI für die Szenenanalyse vielversprechend ist, gibt es in der Audio-Community die Sorge, dass die ursprüngliche künstlerische Absicht für bestimmte Szenen außer Kraft gesetzt werden könnte, wodurch das Hörerlebnis möglicherweise anders ausfallen könnte, als von den Machern beabsichtigt. Darüber hinaus wirft die Verbreitung eines weiteren Audioformats Bedenken hinsichtlich der Kompatibilität und der Notwendigkeit einer breiten Akzeptanz auf allen Geräten und Plattformen auf.

Auch wenn die Absicht des IAMF, den Nutzern die Kontrolle über die Audioanpassung zu geben, lobenswert ist, machen sich einige Sorgen über das feine Gleichgewicht zwischen KI-gesteuerten Optimierungen und individuellen Präferenzen und befürchten einen potenziellen Verlust an Personalisierung oder eine steile Lernkurve für die Nutzer, um diese Anpassung zu meistern. Als Experte auf diesem Gebiet gehe ich davon aus, dass diese Aspekte entscheidend sein werden, wenn es darum geht, das Gleichgewicht zwischen technologischem Fortschritt und nutzerzentrierten Erfahrungen im Bereich immersives Audio zu finden.

Community-Feedback zum aktuellen Stand

Die Reaktionen der Audiotechniker und der Verbrauchergemeinschaft auf die neue Audiotechnologie zeigen eine Mischung aus verschiedenen Perspektiven, die sowohl die potenziellen Vorteile als auch die möglichen Nachteile hervorheben.

Positiv ist die Aussicht auf innovative Audioerlebnisse, insbesondere ohne Lizenzgebühren, die einen vielversprechenden Schritt in Richtung eines leichter zugänglichen und anpassbaren Audiomaterials darstellen. Die Möglichkeit eines neuen Standards weckt die Hoffnung auf eine verbesserte Klangqualität, Szenenanalyse und Benutzerkontrolle, was die immersiven Heim-Audiosysteme verbessert.

• „Ich finde es sehr gut, dass es endlich einen lizenzgebührenfreien Standard geben wird“.
• „Von daher ist echtes Dolby Atmos oder Auro3D schon spannend.“
• „Was auch immer Samsung für die Zukunft plant, ich habe genau das bekommen, was ich wollte.“

Allerdings gibt es auch Bedenken. Einige äußerten sich skeptisch über die Fragmentierung, die durch die Einführung eines weiteren Audioformats verursacht wird, und befürchten Kompatibilitätsprobleme und Hindernisse bei der Kombination verschiedener Audiogeräte und von verschiedenen Herstellern. Andere äußern Vorbehalte gegenüber den möglichen Nachteilen einer übermäßigen Abhängigkeit von der KI-gesteuerten Szenenanalyse und befürchten Kompromisse bei der künstlerischen Absicht oder den Vorlieben. Darüber hinaus werfen Vergleiche mit etablierten Formaten wie Dolby Atmos Fragen über die Fähigkeit des neuen Formats auf, eine breite Akzeptanz zu finden und die bestehenden Industriestandards zu übertreffen.

• „Und die nächste Totgeburt von Samsung“.
• „Wenn dieses Konzept wieder etwas ist, bei dem alles von vorne kommt und über Reflexion funktioniert, können sie es sich von vornherein schenken.“
• „Samsung ist so dumm, allein ihre Weigerung gegen Dolby Vision hat viele potentielle Kunden in meinem Umfeld vergrault.“

Häufig gestellte Fragen, wie das IAMF Sound macht

Was sind immersive Audioformate?

Immersive Audioformate wie Dolby Atmos, DTS, Auro 3D und Sony 360 Reality Audio bieten den Nutzern ein realistisches Klangerlebnis, um eine immersive Höratmosphäre zu schaffen. Diese Technologien basieren alle auf unterschiedlichen technischen Standards, haben aber den gleichen Effekt der verbesserten akustischen Immersion.

Was ist das IAMF-Format?

AOMedia bietet IAMF, eine lizenzfreie Audiocontainer-Spezifikation, zusammen mit einem Open-Source-Referenzsoftware-Decoder, der auf seiner GitHub-Plattform zugänglich ist.

Wie funktioniert immersives Audio?

Immersive oder 3D Audio bietet einen volleren, intensiveren Klang, da es die Klangbalken der Musik über das linke und rechte Stereosignal hinaus hörbar macht und so wiedergibt, wie der Künstler die Musik hören wollte.

Was ist der Unterschied zwischen Spatial Audio und Immersive Audio?

Spatial Audio bietet eine fesselnde 360-Grad-Klanglandschaft, die dem Hörer den Eindruck vermittelt, dass Geräusche aus allen Richtungen kommen, wie bei einer echten Musikaufführung. Immersive Audio hingegen verfügt nicht über diese Eigenschaft. Hier liegt der Schwerpunkt auf den Klangstäben, die den vorhandenen Klängen Stabilität und Klarheit verleihen, anstatt mit ihnen virtuelle Umgebungen zu schaffen. Beide Formen der Klangmanipulation ermöglichen Hörerlebnisse, die an Qualität und Realismus kaum zu überbieten sind und den Hörer vollends zufrieden stellen.

Wie funktioniert das anpassbare Audio im IAMF?

Das anpassbare Audio ist eine Funktion von IAMF, die es dem Zuschauer ermöglicht, die 3D-Klanglandschaft nach seinen Vorlieben mit einstellbaren Layern zu verändern, wie z.B. Dialoge und Musik im Hintergrund der Actionszene oder bestimmter Szenen.

Was ist AOMedia?

Die Alliance for Open Media (AOMedia) ist ein kollaboratives Konsortium, das sich darauf konzentriert, die Medientechnologie durch die Entwicklung von quelloffenen, lizenzgebührenfreien Komprimierungsstandards und -formaten voranzubringen. Die AOMedia unterscheidet sich von ihren Mitbewerbern durch ihr Engagement für die Förderung von Innovation bei gleichzeitiger Betonung von Offenheit und Zugänglichkeit.

Zu den Gründungsmitgliedern auf Vorstandsebene gehören Amazon, Apple, Cisco, Google, Intel, Meta, Microsoft, Mozilla, Netflix, NVIDIA, Samsung Electronics und Tencent. Besuchen Sie www.aomedia.org

Was ist EAR?

Die Ear Production Suite umfasst das Audio Definition Model (ADM) und führt einen speziellen binauralen Renderer ein, der die Erstellung und Wiedergabe von objekt- und szenenbasierten Audioprogrammen ermöglicht. Während das ADM eine standardisierte Methode für die Wiedergabe über Lautsprecher bietet, gibt es für die Wiedergabe über Kopfhörer keinen standardisierten Ansatz.

Der binaurale Renderer der Suite verwendet virtuelle Lautsprecherwiedergabe mit gefensterten binauralen Raumimpulsantworten (BRIRs) für die Objektwiedergabe, wobei die Verzögerungen in den BRIRs durch variable fraktionierte Verzögerungslinien pro Ohr und Objekt ersetzt werden, um Kammfiltereffekte abzuschwächen. Bei diffusen Quellen werden die ursprünglichen Verzögerungen in den BRIRs verwendet, um eine wahrgenommene Ausdehnung zu erzeugen.

Um Lautheitsänderungen zwischen benachbarten BRIR-Lautsprechern zu verwalten, passt das System die Gesamtverstärkung jeder Quelle dynamisch an. Diese Open-Source-C++-Bibliothek, die in das VISR-Framework integriert ist, ermöglicht eine binaurale Ausgabe in Echtzeit über den Kopf und verbessert so immersive Audioerlebnisse und dient als integraler Bestandteil der EAR Production Suite für fortschrittliche Audioproduktions- und -wiedergabezwecke. https://ear-production-suite.ebu.io/