（ChinaZ.com）4月17日 消息:在計(jì)算機(jī)視覺(jué)和圖形學(xué)領(lǐng)域，材質(zhì)遷移技術(shù)一直是研究的熱點(diǎn)之一。最近，牛津大學(xué)、Stability AI 和 MIT CSAIL 的研究團(tuán)隊(duì)共同開(kāi)發(fā)了一種名為ZeST的創(chuàng)新方法，它能夠在無(wú)需任何先前訓(xùn)練的情況下，實(shí)現(xiàn)從一張圖像到另一張圖像中對(duì)象的材質(zhì)遷移。
ZeST技術(shù)的亮點(diǎn)在于其支持單一材質(zhì)的遷移，并且能夠處理單一圖像中的多重材質(zhì)編輯。這意味著用戶可以輕松地將一種材質(zhì)應(yīng)用到圖像中的多個(gè)對(duì)象上，而不需要為每個(gè)對(duì)象單獨(dú)進(jìn)行材質(zhì)遷移。此外，ZeST還支持在設(shè)備上快速處理圖像，擺脫了對(duì)云計(jì)算或服務(wù)器端處理的依賴，大大提高了效率。
ZeST的工作原理是通過(guò)擴(kuò)散適配器提取示例圖像中的隱式材質(zhì)表示，然后將這些材質(zhì)應(yīng)用到輸入圖像的對(duì)象上。這一過(guò)程結(jié)合了幾何和光照指導(dǎo)信息，以確保在材質(zhì)轉(zhuǎn)移的同時(shí)，保留圖像中的其他屬性，從而產(chǎn)生逼真的視覺(jué)效果。ZeST不僅適用于虛擬場(chǎng)景和合成圖像，也能夠應(yīng)用于真實(shí)世界的圖像，為材質(zhì)編輯和渲染提供了更加靈活和高效的解決方案。
在ZeST的方法概述中，研究團(tuán)隊(duì)介紹了該技術(shù)的三個(gè)主要分支。首先，圖像編碼器用于對(duì)材質(zhì)示例進(jìn)行編碼;其次，輸入圖像被轉(zhuǎn)換為深度圖和前景灰度圖像，以提供必要的幾何和潛在光照指導(dǎo);最后，通過(guò)結(jié)合這些信息和材質(zhì)編碼的潛在特征，ZeST能夠?qū)⒉馁|(zhì)屬性準(zhǔn)確地轉(zhuǎn)移到輸入圖像中的對(duì)象上。
研究團(tuán)隊(duì)通過(guò)展示16個(gè)不同材質(zhì)的轉(zhuǎn)移示例，證明了ZeST的有效性。這些示例涵蓋了從PBR材質(zhì)到真實(shí)世界物體的廣泛范圍，并展示了ZeST在單個(gè)圖像中進(jìn)行多個(gè)材質(zhì)編輯的能力。這些成果不僅展示了ZeST的強(qiáng)大功能，也為圖像編輯和渲染領(lǐng)域提供了新的工具和可能性。
總結(jié)來(lái)說(shuō)，ZeST的推出為材質(zhì)遷移技術(shù)帶來(lái)了新的突破。其零-shot特性和對(duì)真實(shí)世界圖像的適用性，使得ZeST在計(jì)算機(jī)視覺(jué)和圖形學(xué)領(lǐng)域具有重要的研究?jī)r(jià)值和應(yīng)用前景。未來(lái)，研究團(tuán)隊(duì)將繼續(xù)探索如何將ZeST擴(kuò)展到更廣泛的應(yīng)用領(lǐng)域，并進(jìn)一步提升其性能和效果。
項(xiàng)目地址:https://top.aibase.com/tool/zest
