(ChinaZ.com)3月6日 消息:近日,字節發布了一款名為ResAdapter的新型工具,該工具可以解決Stable Diffusion(SD)在生成超大圖片以及非訓練分辨率圖片時出現的肢體異常和畫面崩壞問題。此外,ResAdapter還可以與現有的IPadapter以及Controlnet模型兼容。
隨著文本到圖像模型如Stable Diffusion,以及個性化技術如DreamBooth、LoRA等的發展,我們現在已經能夠創造出既高質量又充滿創意的圖像。然而,當這些技術嘗試生成超出其訓練時所用分辨率的圖像時,往往會遇到一些限制。
項目地址:https://top.aibase.com/tool/resadapter
為了解決這個問題,字節推出了ResAdapter,這是一種專門為擴散模型(比如Stable Diffusion和個性化模型)設計的適配器,能夠生成任何分辨率和長寬比的圖像。與其他多分辨率生成方法不同,ResAdapter能直接生成動態分辨率的圖像,而不是在后期處理中調整靜態分辨率的圖像。這種方法使得圖像處理變得更加高效,避免了重復的去噪步驟和復雜的后期處理流程,顯著縮短了處理時間。
ResAdapter利用廣泛的分辨率先驗,即使只有0.5M的容量,也能為個性化擴散模型生成不同于原訓練領域的高分辨率圖像,同時保持原有風格。
大量實驗顯示,ResAdapter在提高分辨率方面與擴散模型配合得天衣無縫。此外,更多的實驗表明,ResAdapter可以與ControlNet、IP-Adapter和LCM-LoRA等其他模塊兼容,適用于創建不同分辨率的圖像,也可以整合進如ElasticDiffusion這樣的多分辨率模型中,高效生成更高清晰度的圖像。
總的來說,ResAdapter的推出,無疑為圖像生成領域帶來了新的可能性,期待它在未來的應用中能夠帶來更多的驚喜。