Trans4D: Transisi Geometri-Realistis untuk Sintesis Teks-ke-4D Komposisional

Trans4D: Transisi Geometri-Realistis untuk Sintesis Teks-ke-4D Komposisional

Penulis: Bohan Zeng, Ling Yang, Siyu Li, Jiaming Liu, Zixiang Zhang, Juanxi Tian, Kaixin Zhu, Yongzhen Guo, Fu-Yun Wang, Minkai Xu, Stefano Ermon, Wentao Zhang

Abstrak: Trans4D menghasilkan transisi pemandangan kompleks yang realistis dalam sintesis 4D menggunakan model bahasa besar multimodal dan jaringan transisi sadar geometri.

Ringkasan: Kemajuan terbaru dalam model difusi telah menunjukkan kemampuan luar biasa dalam pembuatan gambar dan video, lebih lanjut meningkatkan efektivitas sintesis 4D. Metode pembuatan 4D yang ada dapat menghasilkan objek atau pemandangan 4D berkualitas tinggi berdasarkan kondisi yang ramah pengguna, menguntungkan industri game dan video. Namun, metode ini kesulitan mensintesis deformasi objek signifikan dari transisi dan interaksi 4D yang kompleks dalam pemandangan. Untuk mengatasi tantangan ini, kami mengusulkan Trans4D, kerangka kerja sintesis teks-ke-4D baru yang memungkinkan transisi pemandangan kompleks yang realistis. Secara spesifik, pertama-tama kami menggunakan model bahasa besar multimodal (MLLMs) untuk menghasilkan deskripsi pemandangan sadar fisika untuk inisialisasi pemandangan 4D dan perencanaan waktu transisi yang efektif. Kemudian kami mengusulkan jaringan transisi 4D sadar geometri untuk mewujudkan transisi 4D tingkat pemandangan yang kompleks berdasarkan rencana tersebut, yang melibatkan deformasi objek geometri ekspresif. Eksperimen ekstensif menunjukkan bahwa Trans4D secara konsisten mengungguli metode state-of-the-art yang ada dalam menghasilkan pemandangan 4D dengan transisi yang akurat dan berkualitas tinggi, memvalidasi efektivitasnya.

Kode: github