(ChinaZ.com)4月17日 消息:在計算機視覺和圖形學領域,材質遷移技術一直是研究的熱點之一。最近,牛津大學、Stability AI 和 MIT CSAIL 的研究團隊共同開發了一種名為ZeST的創新方法,它能夠在無需任何先前訓練的情況下,實現從一張圖像到另一張圖像中對象的材質遷移。
ZeST技術的亮點在于其支持單一材質的遷移,并且能夠處理單一圖像中的多重材質編輯。這意味著用戶可以輕松地將一種材質應用到圖像中的多個對象上,而不需要為每個對象單獨進行材質遷移。此外,ZeST還支持在設備上快速處理圖像,擺脫了對云計算或服務器端處理的依賴,大大提高了效率。
ZeST的工作原理是通過擴散適配器提取示例圖像中的隱式材質表示,然后將這些材質應用到輸入圖像的對象上。這一過程結合了幾何和光照指導信息,以確保在材質轉移的同時,保留圖像中的其他屬性,從而產生逼真的視覺效果。ZeST不僅適用于虛擬場景和合成圖像,也能夠應用于真實世界的圖像,為材質編輯和渲染提供了更加靈活和高效的解決方案。
在ZeST的方法概述中,研究團隊介紹了該技術的三個主要分支。首先,圖像編碼器用于對材質示例進行編碼;其次,輸入圖像被轉換為深度圖和前景灰度圖像,以提供必要的幾何和潛在光照指導;最后,通過結合這些信息和材質編碼的潛在特征,ZeST能夠將材質屬性準確地轉移到輸入圖像中的對象上。
研究團隊通過展示16個不同材質的轉移示例,證明了ZeST的有效性。這些示例涵蓋了從PBR材質到真實世界物體的廣泛范圍,并展示了ZeST在單個圖像中進行多個材質編輯的能力。這些成果不僅展示了ZeST的強大功能,也為圖像編輯和渲染領域提供了新的工具和可能性。
總結來說,ZeST的推出為材質遷移技術帶來了新的突破。其零-shot特性和對真實世界圖像的適用性,使得ZeST在計算機視覺和圖形學領域具有重要的研究價值和應用前景。未來,研究團隊將繼續探索如何將ZeST擴展到更廣泛的應用領域,并進一步提升其性能和效果。
項目地址:https://top.aibase.com/tool/zest