核心要點:
百度提出了UNIMO-G統一圖像生成框架，通過多模態條件擴散實現文本到圖像生成，克服了文本描述簡潔性對生成復雜細節圖像的挑戰。
UNIMO-G包含多模態大語言模型（MLLM）和基于編碼的多模態輸入生成圖像的條件去噪擴散網絡兩個核心組件，通過兩階段訓練策略達到統一的圖像生成能力。
UNIMO-G在文本到圖像生成和零樣本主題驅動合成方面表現出色，特別有效地處理包含多個圖像實體的復雜多模態提示。
(ChinaZ.com) 1月26日 消息:在最新的研究中，百度提出了一項名為UNIMO-G的統一圖像生成框架，旨在克服現有文本到圖像擴散模型面臨的挑戰。傳統模型主要根據簡潔的文本提示生成圖像，但文本描述的簡潔性限制了生成復雜細節圖像的能力。
UNIMO-G采用了簡單而強大的多模態條件擴散框架，能夠處理交錯的文本和視覺輸入，展示了文本驅動和主題驅動圖像生成的統一能力。
項目地址：https://top.aibase.com/tool/unimo-g
UNIMO-G的核心組件包括多模態大語言模型（MLLM）和基于編碼的多模態輸入生成圖像的條件去噪擴散網絡。獨特的兩階段訓練策略使得該框架能夠在大規模文本圖像對上進行預訓練，開發出條件圖像生成能力，并通過多模態提示進行指令調整，實現統一的圖像生成能力。
這一框架還采用了精心設計的數據處理管道，涉及語言基礎和圖像分割，用以構建多模態提示。在測試中，UNIMO-G在文本到圖像生成和零樣本主題驅動合成方面表現卓越，特別是在處理包含多個圖像實體的復雜多模態提示時，生成高保真圖像的效果顯著。
總體而言，UNIMO-G的提出為文本到圖像生成領域帶來了新的可能性，其簡單而有效的多模態條件擴散框架在處理復雜性和提高圖像生成質量方面具有潛在的廣泛應用價值。
