3D Audio Engine

Question

Trotz all der Fortschritte in 3D-Grafik-Engines finde ich es seltsam, dass Audio nicht die gleiche Aufmerksamkeit bekommen hat. Bei modernen Spielen werden 3D-Szenen in Echtzeit wiedergegeben, und dennoch erhalten wir mehr oder weniger vorinstalliertes Audio, das diese Szenen begleitet.

Stellen Sie sich vor - eine 3D-Engine, die nicht nur die physische Erscheinung von Objekten modelliert, sondern auch deren Audioeigenschaften. Und von diesen Modellen kann es dynamisch Audio erzeugen, basierend auf den Materialien, die in Kontakt kommen, ihrer Geschwindigkeit, Entfernung von Ihren virtuellen Ohren, und so weiter. Jetzt, wenn du hinter den Sandsäcken hockst und Kugeln über deinen Kopf fliegen, wird jeder einen einzigartigen und realistischen Sound ergeben.

Die offensichtliche Anwendung einer solchen Technologie wäre Gaming, aber ich bin mir sicher, dass es viele andere Möglichkeiten gibt.

Wird eine solche Technologie aktiv entwickelt? Kennt jemand Projekte, die das versuchen?

Danke, Kent

Answer 1

Ich habe mal nach Verbesserungsmöglichkeiten von OpenAL geforscht, und das Problem bei der Simulation von 3D-Audio ist, dass so viele der Hinweise, die dein Verstand benutzt, die leicht unterschiedliche Dämpfung in verschiedenen Winkeln, der Frequenzunterschied zwischen den Klängen vor und diejenigen hinter dir - sind ziemlich spezifisch für Ihre eigenen Kopf und sind nicht ganz das Gleiche für andere!

Wenn Sie wollen, sagen Sie, ein Paar Kopfhörer, damit es wirklich wie eine Kreatur in den Blättern vor und vor dem Charakter in einem Spiel klingt, dann müssen Sie diesen Player tatsächlich in ein Studio nehmen, messen wie ihre eigenen Ohren und ihr Kopf die Amplitude und Phase des Klangs in unterschiedlichen Entfernungen ändern (Amplitude und Phase sind unterschiedlich und beide sind sehr wichtig für die Art und Weise, wie das Gehirn die Schallrichtung verarbeitet), und lehren dann das Spiel, abzuschwächen und zu phasen verschiebe die Sounds für diesen bestimmten Spieler.

Es gibt "Standard-Köpfe", die mit Plastik verspottet wurden und verwendet werden, um generische Frequenzgangkurven für die verschiedenen Richtungen um den Kopf zu erhalten, aber ein Durchschnitt oder Standard wird für die meisten Spieler nie ganz richtig klingen.

Also die aktuelle Technologie ist im Grunde, um den Spieler fünf billige Lautsprecher zu verkaufen, lassen Sie sie um ihren Schreibtisch legen, und dann klingen die Töne - obwohl nicht besonders gut reproduziert - tatsächlich wie sie kommen von hinten oder neben Spieler, weil, nun, sie sind aus dem Lautsprecher hinter dem Spieler kommen. :-)

Aber einige Spiele machen sich die Mühe zu berechnen, wie der Schall durch Wände und Türen gedämpft und abgeschwächt wird (was schwierig zu simulieren ist, weil das Ohr den gleichen Klang mit ein paar Millisekunden Verzögerung erhält) verschiedene Materialien und reflektierende Oberflächen in der Umwelt, die alle einbezogen werden müssten, wenn es realistisch klingen sollte. Sie neigen jedoch dazu, ihre Bibliotheken unter Verschluss zu halten, daher sind öffentliche Referenzimplementierungen wie OpenAL eher primitiv.

Edit: hier ist ein Link zu einem Online-Datensatz, den ich zu der Zeit gefunden, die als Ausgangspunkt für die Erstellung eines realistischeren OpenAL Klangfeldes, vom MIT verwendet werden könnten:

http://sound.media.mit.edu/resources/KEMAR.html

Genießen Sie! :-)

Answer 2

Aureal tat dies im Jahre 1998. Ich eine ihrer Karten haben immer noch, obwohl ich Windows 98 benötigen würde, um sie auszuführen.

Stellen Sie sich Ray-Tracing vor, aber mit Audio. Ein Spiel, das die Aureal-API verwendet, würde Informationen über die geometrische Umgebung (z. B. eine 3D-Karte) bereitstellen, und die Audiokarte würde den Ton strahlen. Es war genau wie echte Dinge in der Welt um dich zu hören. Sie können Ihre Augen auf die Schallquellen richten und in einer lauten Umgebung auf bestimmte Quellen achten.

Wie ich es verstehe, zerstörte Creative Aureal durch Rechtskosten in einer Reihe von Patentverletzungsansprüchen (die alle abgelehnt wurden).

In der Public-Domain-Welt existiert OpenAL - eine Audio-Version von OpenGL. Ich denke, die Entwicklung hat vor langer Zeit aufgehört. Sie hatten einen sehr einfachen 3D-Audio-Ansatz, keine Geometrie - nicht besser als EAX in Software.

EAX 4.0 (und ich denke, dass es eine neuere Version ist?) Schließlich - nach einem Jahrzehnt - ich denken haben einige der geometrischen Informationen Ray-Tracing-Ansatz incoporated Aureal verwendet (Creative ihre IP aufgekauft, nachdem sie gefaltet) .

Answer 3

Die Source-Engine (Half-Life 2) des SoundBlaster X-Fi tut dies bereits.

Es ist wirklich etwas zu hören. Sie können definitiv den Unterschied zwischen einem Echo gegen Beton gegen Holz gegen Glas usw. hören ...

Answer 4

Ein wenig bekannter Seitenbereich ist voip. Während Spiele aktiv entwickelte Software haben, werden Sie wahrscheinlich Zeit mit anderen verbringen, während Sie auch spielen.

Mumble (http://mumble.sourceforge.net/) ist eine Software, die Plugins verwendet, um festzustellen, wer mit Ihnen im Spiel ist. Es wird dann sein Audio in einem 360-Grad-Bereich um dich herum positionieren, so dass der Linke links ist, hinter dir klingt wie so. Dies machte eine gruselig realistische Ergänzung, und beim Ausprobieren führte es zu lustigen Spielen von "Marko, Polo".

Audio nahm eine massive Rückkehr in Vista, wo Hardware nicht verwendet werden durfte, um es zu beschleunigen. Dies tötete EAX, wie es in den XP Tagen war. Software-Wrapper werden allmählich aufgebaut.

Answer 5

Sehr interessantes Feld in der Tat. So interessant, dass ich meine Masterarbeit zu diesem Thema machen werde. Insbesondere ist es in Ego-Shootern verwendet.

Meine Literaturrecherche hat bisher deutlich gemacht, dass dieses spezielle Gebiet wenig theoretischen Hintergrund hat. Auf diesem Gebiet wurde nicht viel geforscht, und die meisten Theorien basieren auf der Film-Audio-Theorie.

Wie für die praktische Anwendung habe ich bisher keine gefunden. Natürlich gibt es viele Titel und Pakete, die Echtzeit-Audio-Effekt-Verarbeitung unterstützen und sie abhängig von der allgemeinen Umgebung des Auditors anwenden. Beispiel: Auditor betritt eine Halle, so dass ein Echo/Reverb-Effekt auf die Sound-Samples angewendet wird. Das ist ziemlich grob. Eine Analogie für Visuals wäre, 20% des RGB-Wertes des gesamten Bildes zu subtrahieren, wenn jemand eine von fünf Glühbirnen im Raum ausschaltet (oder schießt;)). Es ist ein Anfang, aber nicht sehr realistisch.

Die beste Arbeit fand ich war (2007) Doktorarbeit von Mark Nicholas Grimshaw, University of Waikato, genannt The Accoustic Ecology of the First-Person Shooter Diese riesige Pager schlägt eine theoretische Aufbau für einen solchen Motor, sowie eine Fülle von Taxonomien und Begriffen zu formulieren zur Analyse von Spiel-Audio. Auch er argumentiert, dass die Bedeutung von Audio für Ego-Shooter weithin übersehen wird, da Audio eine starke Kraft für das Auftauchen in der Spielwelt ist.

Denken Sie nur darüber nach. Stellen Sie sich vor, Sie spielen ein Spiel auf einem Monitor ohne Ton, aber mit perfekter Grafik. Als nächstes stellen Sie sich vor, wie Sie um sich herum realistische Spiele (Spiele) hören, während Sie die Augen schließen. Letzteres wird Ihnen ein viel größeres Gefühl geben, "da zu sein".

Warum also haben sich die Spieleentwickler nicht bereits in diesen vollherzigen Tauben versteckt? Ich denke, die Antwort ist klar: Es ist viel schwieriger zu verkaufen. Verbesserte Bilder sind einfach zu verkaufen: Sie geben nur ein Bild oder einen Film und es ist einfach zu sehen, wie viel schöner es ist. Es ist sogar leicht quantifizierbar (z. B. mehr Pixel = besseres Bild). Für Sound ist es nicht so einfach. Realismus im Klang ist viel unbewusster und daher schwieriger zu vermarkten.

Die Auswirkungen der realen Welt auf Geräusche werden unterbewusst wahrgenommen. Die meisten Leute bemerken die meisten von ihnen nie. Einige dieser Effekte können nicht einmal bewusst wahrgenommen werden. Dennoch spielen sie alle eine Rolle in dem wahrgenommenen Realismus des Klangs. Es gibt ein einfaches Experiment, das Sie selbst durchführen können, was dies veranschaulicht. Wenn du das nächste Mal auf dem Bürgersteig spazierst, höre genau auf die Hintergrundgeräusche der Umgebung: Wind weht durch die Blätter, alle Autos auf entfernten Straßen, etc .. Dann hör dir an, wie sich dieser Klang ändert, wenn du näher oder weiter gehst eine Wand, oder wenn Sie unter einem überhängenden Balkon gehen, oder wenn Sie sogar eine offene Tür passieren. Tun Sie es, hören Sie gut zu und Sie werden einen großen Unterschied im Klang bemerken. Wahrscheinlich viel größer als du dich jemals erinnerst.

In einer Spielwelt werden diese Art von Änderungen nicht wiedergegeben. Und obwohl du sie (noch) nicht bewusst vermisst, tust du das unterbewusst, was sich negativ auf dein Entstehen auswirkt.

Also, wie gut muss Audio im Vergleich zum Bild sein? Praktischer: Welche physikalischen Effekte in der realen Welt tragen am meisten zum wahrgenommenen Realismus bei? Ist dieser wahrgenommene Realismus vom Klang und/oder der Situation abhängig? Das sind die Fragen, die ich mit meiner Recherche beantworten möchte. Danach ist es meine Idee, ein praktisches Framework für eine Audio-Engine zu entwickeln, das verschiedene Effekte auf einige oder alle Spieleaudio-Effekte anwenden kann, abhängig (dynamisch) von der verfügbaren Rechenleistung. Yup, ich setze die Bar ziemlich hoch :)

Ich werde ab September 2009 beginnen. Wenn jemand interessiert ist, denke ich über die Einrichtung eines Blogs, um meine Fortschritte und Erkenntnisse zu teilen.

Janne Louw (BSc Informatik Universiteit Leiden, Niederlande)