【ITBEAR】復(fù)旦大學(xué)與百度攜手推出全新AI模型Hallo2，該模型已正式在GitHub開(kāi)源。Hallo2能夠生成長(zhǎng)達(dá)數(shù)小時(shí)的4K高清人物動(dòng)畫(huà)，為AI動(dòng)畫(huà)領(lǐng)域帶來(lái)重大突破。
基于latent diffusion models構(gòu)建，Hallo2在視覺(jué)效果上超越前代，特別支持長(zhǎng)視頻生成。通過(guò)引入patch-drop和高斯噪聲等數(shù)據(jù)增強(qiáng)方法，該模型顯著提升了長(zhǎng)時(shí)間視頻的視覺(jué)一致性和時(shí)間連貫性。
Hallo2還融合了向量量化生成對(duì)抗網(wǎng)絡(luò)和時(shí)間對(duì)齊技術(shù)，確保高分辨率視頻的質(zhì)量與流暢度。該模型創(chuàng)新性地將可調(diào)整的語(yǔ)義文本標(biāo)簽肖像表情作為條件輸入，不僅提高了可控性，還豐富了生成內(nèi)容的多樣性。
Hallo2項(xiàng)目詳情，請(qǐng)?jiān)L問(wèn)：https://fudan-generative-vision.github.io/hallo2/#/
