Sonic4D: Generasi Audio Spasial untuk Eksplorasi Adegan 4D Imersif

Sonic4D: Generasi Audio Spasial untuk Eksplorasi Adegan 4D Imersif

Kemajuan terkini dalam generasi 4D telah menunjukkan kemampuannya yang luar biasa dalam mensintesis rendering fotorealistik dari adegan 3D dinamis. Namun, meskipun mencapai kinerja visual yang mengesankan, hampir semua metode yang ada mengabaikan generasi audio spasial yang selaras dengan adegan 4D yang sesuai, yang menimbulkan keterbatasan signifikan untuk pengalaman audiovisual yang benar-benar imersif. Untuk mengatasi masalah ini, kami mengusulkan Sonic4D, sebuah kerangka kerja baru yang memungkinkan generasi audio spasial untuk eksplorasi imersif adegan 4D. Secara khusus, metode kami terdiri dari tiga tahap: 1) Untuk menangkap konten visual dinamis dan informasi auditori mentah dari video monokuler, kami pertama-tama menggunakan model ahli pra-terlatih untuk menghasilkan adegan 4D dan audio monaural yang sesuai. 2) Selanjutnya, untuk mengubah audio monaural menjadi audio spasial, kami melokalisasi dan melacak sumber suara dalam adegan 4D, di mana koordinat spasial 3D mereka pada cap waktu yang berbeda diperkirakan melalui strategi landasan visual tingkat piksel. 3) Berdasarkan lokasi sumber suara yang diperkirakan, kami lebih lanjut mensintesis audio spasial yang masuk akal yang bervariasi di berbagai sudut pandang dan cap waktu menggunakan simulasi berbasis fisika. Eksperimen ekstensif telah menunjukkan bahwa metode yang kami usulkan menghasilkan audio spasial realistis yang konsisten dengan adegan 4D yang disintesis dengan cara bebas pelatihan, secara signifikan meningkatkan pengalaman imersif bagi pengguna.