AES Southern German Section – The VR Audio Roundtable

Beim Forschungskolloquium der AES Süddeutschen Sektion in diesem Monat wird eine Runde von Experten aus dem Bereich VR-Audio über die neuesten und besten Entwicklungen auf diesem Gebiet diskutieren – und das in voller Interaktion mit dem Publikum!

Weitere Details hier: http://bit.ly/38vy7Kd.

Sprecher

• Przemysław Danowski (Spezialist für neue Medien/Audio/Video/VR, Doktorand für räumliches Audio)
• Made Indrayana (CTO bei Double Shot Audio)
• Ben Supper (Audio- und Akustikberater)
• Katja Rogers (Postdoc-Forscherin in der HCI Games Group, Universität von Waterloo)
• Martin Rieger (3D-Audiotechnologie und Schöpfer immersiver Inhalte)

Roundup und Schlussfolgerung

Taktile Manipulation von Klang in VR und Musikinstrumenten

Przemysław Danowski sagte, dass VR neue Möglichkeiten für die Interaktion zwischen Menschen bietet, zum Beispiel für das gemeinsame Musizieren in einer vollständigen 3D-Umgebung mit speziellen digitalen Instrumenten. Diese werden durch Mimik und Gestik gesteuert. Dieser Ansatz verringert die Trennung zwischen Musiker und Publikum, und das Musizieren kann wie in der Vergangenheit als soziale Plattform genutzt werden. Nicht nur Musiker können eine VR-Welt erschaffen, es ist auch eine zusätzliche Zusammenarbeit möglich, bei der die Zuhörer ihre musikalische Erfahrung beeinflussen können.

In diesem Bereich ist weitere Forschung erforderlich, um diese Algorithmen in Zukunft zu verbessern. Auch die Latenz ist immer noch ein großes Problem, wenn es darum geht, Instrumente oder Gesang aus der realen Welt in die VR zu übertragen. Es wurde erwähnt, dass es nicht nur darum geht, Menschen auf der ganzen Welt zu verbinden. Es geht auch um die Art und Weise, wie die physische Welt mit der virtuellen Welt verbunden werden kann, wie diese Verbindung erlebt wird und wie sie verbessert werden kann.

3d-Audio und VR zugänglicher machen

Ein wichtiger Aspekt, den Martin Rieger ansprach, war die Frage, wie wir als Toningenieure räumliches Audio zu den Menschen bringen können. Auch wenn VR-Headsets immer bekannter werden, kann es immer noch schwierig sein, Anwendungen mit räumlichem Audio zu nutzen. Es mangelt an Standards wie MPEG-I und auch an einer Barriere für Nicht-Audiotechniker, die unsere Arbeit nicht zu schätzen wissen. Dies ist ein Thema, das wir als Gemeinschaft angehen müssen.

Niedrige Einstiegshürde für VR-Audio

Viele VR-Audio-Anwendungen, -Inhalte und -Lernmaterialien sind für jedermann verfügbar, meist kostenlos. Made Indrayana weist darauf hin, dass es bereits eine große Gemeinschaft von Ingenieuren und Content-Schaffenden gibt, die sich mit diesem Arbeitsfeld beschäftigen. Die Institute arbeiten an der Standardisierung von Plattformen, um die Entwicklungen der Mitwirkenden zusammenzuführen. VR-Erlebnisse, bei denen nicht nur Ton zur Unterhaltung eingesetzt wird, sind weit verbreitet. Dabei denken die meisten Menschen an kreative Inhalte in der Musik-, Film- und Spieleindustrie.

Es wird auch geforscht, um die Erfahrung alltäglicher Dinge wie virtuelle Meetings zu verbessern. Darüber hinaus sind virtuelles Prototyping und Augmented Troubleshooting wichtig für die Ausbildung. Hier werden Menschen mit kritischen und wichtigen Situationen konfrontiert und müssen so realistisch wie möglich sein. Apropos Realismus: Die Diskussionsteilnehmer sind sich einig, dass dieser Begriff noch nicht wirklich definiert ist.

Game Audio Interaction und Forschung

Katja Rogers wies darauf hin, dass die meisten Erstbesucher von Virtual Reality-Spielen nicht einmal die Musik eines Spiels hören. Es hängt sehr stark von der Anwendung und dem Einzelnen ab, wie sehr Sound überhaupt eine Rolle spielt. Es wird auch viel über die Erfahrung und den Einfluss von VR-Audio in verschiedenen Situationen geforscht, anstatt die Audioqualität zu perfektionieren, die von den meisten Zuhörern gar nicht wahrgenommen wird

Wichtigkeit der korrekten Kopfverfolgung

Diese Tatsachen führten zu einer offenen Diskussion darüber, wie die Interaktion gestaltet werden kann, um eine Art Realismus für den Benutzer zu schaffen, wie Ben Supper sagt. Es wurde die Frage aufgeworfen, ob ein gewisser Realismus wirklich das Ziel von virtuellen Welten ist. Wie wir vom Filmsound wissen, ist ein überlebensgroßer Soundtrack erwünscht. Die nächsten Fragen, die es zu beantworten gilt, lauten: Welchen Einfluss hat der Ton in der Welt der virtuellen Realität, und wie kann er gestaltet werden, um das Benutzererlebnis zu verbessern.

Wir möchten uns bei allen Experten und Teilnehmern für die Teilnahme an der Diskussion bedanken. Nach anderthalb Stunden gab es immer noch viel zu besprechen, und es passiert gerade so viel in virtuellen Welten. Wir freuen uns auf viele großartige Technologien in der Zukunft.

Nachfolgend finden Sie einige zusätzliche Informationen, die in der Diskussion erwähnt wurden.

Gemeinsame Quellen und Links

Interaktives Projekt – Umwelten.
https://www.konzerthaus.de/de/umwelten

Wenn ich dich hätte – 3D-Audio-Demo.
https://www.youtube.com/watch?v=NgAUa1U-hF8

Coretet Instrument für virtuelle Realität.
http://www.coretet.io/

Immersives Audio außerhalb der Box.
https://www.dbsoundscape.com/global/de/

Gibt es einen Unterschied zwischen 3D-Audio und räumlichem Audio in der virtuellen Realität?
https://www.vrtonung.de/en/360-heatmap-spatial-vs-static-sound/

Francis Rumsey – Spatial Audio – Realität rekonstruieren oder Illusion schaffen?
https://youtu.be/y82nth2Pnwk

Hyunkook Lee – Ein konzeptionelles Modell der immersiven Erfahrung in der erweiterten Realität.
https://psyarxiv.com/sefkh/