Trans4D: Transisi Realistis Berbasis Geometri untuk Sintesis Teks-ke-4D Komposisional

Penulis: Bohan Zeng, Ling Yang, Siyu Li, Jiaming Liu, Zixiang Zhang, Juanxi Tian, Kaixin Zhu, Yongzhen G., Fu-Yun Wang, Minkai Xu, Stefano Ermon, Wentao Zhang

Abstrak

Kemajuan terbaru dalam model difusi telah menunjukkan kemampuan luar biasa dalam pembuatan gambar dan video, semakin meningkatkan efektivitas sintesis 4D. Metode generasi 4D yang ada dapat menghasilkan objek atau adegan 4D berkualitas tinggi berdasarkan kondisi yang ramah pengguna, menguntungkan industri game dan video. Namun, metode ini kesulitan dalam mensintesis deformasi objek yang signifikan dari transisi dan interaksi 4D yang kompleks dalam adegan. Untuk mengatasi tantangan ini, kami mengusulkan Trans4D, kerangka kerja sintesis teks-ke-4D baru yang memungkinkan transisi adegan kompleks yang realistis. Secara khusus, pertama-tama kami menggunakan model bahasa besar multimodal (MLLM) untuk menghasilkan deskripsi adegan yang sadar fisika untuk inisialisasi adegan 4D dan perencanaan waktu transisi yang efektif. Kemudian kami mengusulkan jaringan transisi 4D yang sadar geometri untuk mewujudkan transisi 4D tingkat adegan yang kompleks berdasarkan rencana, yang melibatkan deformasi objek geometris ekspresif. Eksperimen ekstensif menunjukkan bahwa Trans4D secara konsisten mengungguli metode state-of-the-art yang ada dalam menghasilkan adegan 4D dengan transisi yang akurat dan berkualitas tinggi, memvalidasi efektivitasnya.