【ITBEAR科技資訊】10月06日消息，麻省理工學院與meta AI的研究人員最近宣布他們成功開發了一項名為StreamingLLM的創新框架，該框架被認為能夠解決大型語言模型面臨的內存和泛化問題，使其能夠輕松處理無限長度的文本內容。
這一研究的關鍵焦點在于克服實現高效流式語言模型(Efficient Streaming Language Models，ESLM)時所面臨的障礙，尤其是在長時間多輪對話等場景下可能出現的問題。
據ITBEAR科技資訊了解，研究人員指出，構建流式語言模型主要面臨兩大挑戰。解碼階段獲取標記(token)的鍵(Key)和值(Value)狀態會耗費大量內存。其次，現有的大型語言模型很難泛化到處理超出其訓練序列長度的長文本。
過去的研究嘗試解決這些挑戰，例如擴展注意力窗口以處理長文本或建立一個固定大小的活動窗口，只關注最近的標記狀態以維護內存使用和解碼速度。然而，這些策略在處理超出緩存大小的序列時表現不佳。
StreamingLLM采用了一種名為"注意力下沉"的策略，通過觀察到自回歸語言模型中，某些標記會獲得大量的注意力，即使它們在語義上并不重要，這些標記也會吸引模型的關注。這種策略確保了無論輸入序列的長度如何，模型的注意力計算都能保持穩定。
StreamingLLM的重要貢獻在于提供了一種簡單而高效的解決方案，使語言模型能夠處理無限長度的文本，而無需進行微調。這將有助于解決當前流式應用中語言模型面臨的問題。雖然流式語言模型在未來將變得更加重要，但由于內存效率和長序列處理性能等方面的限制，相關模型的發展仍面臨挑戰。
據研究團隊驗證，StreamingLLM能夠使Llama 2、MPT、Falcon和Pythia等模型可靠地處理長達400萬個標記的文本，從而為流式語言模型的部署提供了更多可能性。這一創新有望推動自然語言處理領域的發展，并為各種應用場景帶來更強大的語言模型支持。
