聲明:本文來自于微信公眾號 量子位（ID:QbitAI），作者:夢晨，授權轉載發布。
AI能理解搞笑視頻笑點在哪里了。
AI回答:這個視頻之所以搞笑，在于一個小寶寶正坐在床上努力讀書，但他顯然還不會真正讀書。他只是不停地指著書頁上的各處，而攝影者則在背后笑他。小寶寶的這種嘗試很有趣，因為他在嘗試閱讀一本對他而言過大的書，也看不懂里面的文字。
北大等團隊開源視覺語言大模型Video-LLaVA，將圖像和視頻表示對齊到統一的視覺特征空間，在13個圖片和視頻基準上達到先進的性能。
值得注意的是，Video-LLaVA在訓練過程中沒有使用成對的視頻和圖片數據，但在訓練后，LLM令人驚訝地展現出同時理解圖片和視頻的能力。
如下圖所示，Video-LLaVA成功地識別出自由女神像的圖片是近景且細膩的，而視頻描述了自由女神像的多個角度，表明它們來自同一個地方。
在投影之前對齊圖像和視頻表示
這項工作具體貢獻如下:
Video-LLaVA解決了在視覺-語言理解中同時處理圖像和視頻的挑戰。它將視覺表示統一到語言特征空間中，使得大型語言模型能夠同時對圖像和視頻進行視覺推理能力。
Video-LLaVA通過最初將圖像和視頻的表示對齊到一個統一的視覺特征空間中，將視覺表示統一到語言特征空間中。這是通過使用LanguageBind編碼器來實現的，該編碼器將不同的模態映射到文本特征空間中，提供了一個統一的視覺表示。然后，統一的視覺表示經過共享的投影層和詞嵌入層進行編碼，以將統一的視覺表示映射給大型語言模型使用。
Video-LLaVA在視頻上表現出色，在MSVD、MSRVTT、TGIF和ActivityNet視頻問答數據集上分別超過了Video-ChatGPT的5.8%、9.9%、18.6%和10.1%。
對于模型能力，研究團隊做了充分實驗。
視頻理解能力實驗。
如表3所示，Video-LLaVA在4個視頻問答數據集上全面超過了Video-ChatGPT，并且漲幅相當可觀。
圖片理解能力實驗。
該研究還與InstructBLIP，Otter，mPLUG-owl 等圖片語言大模型在圖片語言理解任務上進行了比較，結果如表2所示:
為了評估預先對齊視覺輸入的效果，研究團隊進行了大量的對比實驗。
他們使用了相同規模的MAE編碼器替換了圖片編碼器，其中MAE編碼器生成分離的視覺表示，而LanguageBind編碼器生成統一的視覺表示（因為預先對齊了視覺表征）。
然后，他們在13個基準測試中比較了MAE編碼器和LanguageBind編碼器的性能，包括9個圖片理解基準和4個視頻理解基準。
通過替換圖片編碼器為MAE編碼器，LLM在初始學習視覺表示時將視頻特征和圖片特征分開處理，不再將它們統一起來。
有關圖6的實驗結果顯示，與分離的視覺表示相比，聯合的視覺表示在4個視頻問答數據集上顯著提升了性能。
這一發現表明，預先對齊的視覺表征有助于LLM進一步學習和理解視頻內容。它提供了更好的能力，使得模型能夠更有效地處理視頻問答任務并展現出更好的性能表現。
同時論文還驗證了無論是對于圖片還是視頻，在聯合訓練中他們能相互受益。
通過聯合訓練視頻數據，對于圖片理解任務，可以緩解幻覺問題。類似的趨勢也在LLaVA-Bench基準測試上觀察到。
在視頻理解方面，聯合訓練的也得到了明顯的提升。
參考資料:
[1]https://arxiv.org/abs/2311.10122
[2]https://github.com/PKU-YuanGroup/Video-LLaVA
