聲明：本文來自于微信公眾號硅星人Pro（ID：Si-Planet），作者：苗正，授權(quán)轉(zhuǎn)載發(fā)布。
這兩天國內(nèi)外人工智能圈子都在熱議Groq:這個硅谷公司的產(chǎn)品基于自研芯片可以做到在大模型推理時每秒處理將近500個token。
500個token什么概念，大概就是一句話的響應(yīng)時間只需要不到2秒，如此這般的文字生成速度，甚至比翻譯軟件還快。當(dāng)我們習(xí)慣了看GPT們慢悠悠的吐出答案時，第一次使用它看到那大模型生成的答案突突突的往外噴，或是更短的答案瞬間生成就像打開一個網(wǎng)頁一樣的快的時候，確實會驚的呆住一下。
目前它的官網(wǎng)（groq.com）提供免費的試用，沒有用過的可以感受一下。你也可以在Poe上免費體驗Groq:https://poe.com/Mixtral-8x7b-Groq 。
它一時間被冠以game changer的地位，被人們形容為即將干翻英偉達(dá)的存在。
如何實現(xiàn)的?
在對Groq的討論里有人把它叫做大模型，有人叫它芯片，它自己叫自己LPU。這些眼花繚亂的形容讓人很好奇，它到底是個啥，這么逆天的速度又是如何實現(xiàn)的?
根據(jù)Groq此前發(fā)布的論文，它的核心技術(shù)其實是一個名叫TSP的微架構(gòu)設(shè)計，全稱叫做張量流處理器，Tensor Streaming Processor，TSP。一句話概括這個微架構(gòu)，TSP通過獨特的功能切片設(shè)計、確定性執(zhí)行以及軟件定義的方法來實現(xiàn)高性能和高效率的張量計算。
所謂微架構(gòu)，指的是計算機(jī)處理器內(nèi)部的設(shè)計和實現(xiàn)細(xì)節(jié)，微架構(gòu)決定了處理器如何執(zhí)行指令集架構(gòu)（ISA）定義的指令。由微架構(gòu)組成的產(chǎn)品才叫做處理器。(Groq成立于好幾年前，直到大模型出來的今天它才想出了LPU，語言處理器單元這么個名字。)
那這個獨特的“功能切片”又是怎么回事呢?
其實TSP的核心思想是將傳統(tǒng)的多核處理器組織結(jié)構(gòu)進(jìn)行功能切片重組，并圍繞張量計算這一抽象概念構(gòu)建。TSP的內(nèi)存單元與向量和矩陣深度學(xué)習(xí)功能單元是交織在一起的，充分利用深度學(xué)習(xí)操作的數(shù)據(jù)局部性。基于此，TSP的優(yōu)勢就變成了發(fā)掘機(jī)器學(xué)習(xí)負(fù)載中固有的各種并行性，包括指令級并行、內(nèi)存并發(fā)、數(shù)據(jù)并行和模型并行，并通過消除硬件中的所有反應(yīng)式元素來確保確定性執(zhí)行。
那光有微架構(gòu)肯定不行，你要把這個微架構(gòu)做成服務(wù)器能用的產(chǎn)品才行。于是Groq就想到了把TSP變成專用集成電路，也就是ASIC。ASIC的特點在于特定的應(yīng)用或算法進(jìn)行了高度優(yōu)化，以實現(xiàn)最佳性能、最低功耗和最小面積等目標(biāo)。由于它們專門用于執(zhí)行一種或一組相關(guān)任務(wù)，因此在完成這些任務(wù)時往往比非定制化的芯片更高效。
Groq公司設(shè)計的第一款TSP ASIC實現(xiàn)了超過每平方毫米硅片1萬億次操作/秒的計算密度，在900MHz的標(biāo)稱時鐘頻率下，這款25×29mm的14nm芯片運行時表現(xiàn)卓越。在ResNet50圖像分類任務(wù)上，TSP能夠在批次大小為1的情況下達(dá)到每秒處理20.4K張圖片的速度，相較于現(xiàn)代GPU和其他加速器，性能提升了4倍。而Groq也因此確定了最終的產(chǎn)品形態(tài)——LPU（語言處理器單元）。
TSP的關(guān)鍵創(chuàng)新在于其將傳統(tǒng)二維核網(wǎng)格組織形式重新劃分為按功能切分的瓦片布局，其中每個瓦片專門執(zhí)行特定功能，并在垂直方向上堆疊形成“切片”。TSP使用流處理模型進(jìn)行張量計算，空間上根據(jù)函數(shù)排列計算元件以利用張量流動過程中的數(shù)據(jù)流局部性優(yōu)勢。
估計你讀到這里就會發(fā)現(xiàn)“好像缺了點啥”。
無論是英偉達(dá)的H200也好，還是谷歌的TPU也好，他們運行大模型的方法絕對不是僅靠一張卡來實現(xiàn)的。而TSP也是如此，每個TSP提供220MB的本地存儲，并且當(dāng)TSP數(shù)量增加時，它們共同貢獻(xiàn)的全球內(nèi)存容量也隨之?dāng)U大，物理上分散但邏輯上共享的SRAM芯片內(nèi)存在整個系統(tǒng)中構(gòu)成了分布式全局內(nèi)存。
那么為了將這些個TSP組織在一起，Groq又設(shè)計了一個Dragonfly網(wǎng)絡(luò)。這個網(wǎng)絡(luò)采用多級層次化結(jié)構(gòu)，其核心思想是將整個系統(tǒng)分割成多個子組，并通過幾個層次的路由器連接這些子組。這種設(shè)計可以提供高的帶寬容量，特別是對于跨節(jié)點間的全局通信，確保了在整個系統(tǒng)規(guī)模擴(kuò)大時，每個TSP仍能保持相當(dāng)水平的帶寬接入。Dragonfly網(wǎng)絡(luò)致力于減少網(wǎng)絡(luò)直徑，即從任意一個端點到另一個端點所需經(jīng)過的最小跳數(shù)。較小的網(wǎng)絡(luò)直徑意味著更低的通信延遲，這對于要求實時響應(yīng)和緊密同步的機(jī)器學(xué)習(xí)任務(wù)至關(guān)重要。
如果你想更簡單粗暴的理解它，有人用了一個比喻，就是在一個交通復(fù)雜的城市里，LPU收集了所有人早上上班的方向，然后用軟件來決定紅綠燈，關(guān)掉了一條路上所有的交通燈讓所有同一方向的車子在這條路上只管往前開。那當(dāng)然快多了。
可用性如何?
我們也抱著好奇心嘗試了一下，。我向Groq和ChatGPT提了同一個問題，關(guān)于奧威爾一部著名小說里的一個具體意向的涵義。
對比可以看到，Groq的回答比較簡單，無法挖掘書中所代表的更深的復(fù)雜的意味。而ChatGPT可以回答出更深層次的宿命意味的解讀，而且有意思的是，作為慕名而來體驗極速出文的我發(fā)現(xiàn)，Groq的回答其實耗時一共21.5秒。并不快。同樣的問題給Chat GPT3.5，哪怕是用中文問，只需要不到10秒就能得到答案。
然后我又找了個問題問他，我說《黑暗之心》里面的剛果河之旅又象征了怎樣的隱喻?
這回確實生成的非常快了，只花費了2秒鐘就給出了答案!
但答案方面，乍一看是那么回事，但是了解這本小說的人仔細(xì)看完會發(fā)現(xiàn)，Groq這回可能依然沒答到點子上，跟上個問題給人的感覺差不多。所以，看來有些問題快是真的快，可是大部分給的回復(fù)都不太準(zhǔn)確。而且我后來又試了試，我發(fā)現(xiàn)Groq在絕大多數(shù)情況下都能保證非常快速地給出結(jié)果，偶爾依然會“卡殼”，10秒，甚至20秒才能給出結(jié)果。
為什么會這樣?
快速是Groq的優(yōu)化帶來的，而質(zhì)量確實和調(diào)用的模型相關(guān)，但也與Groq的優(yōu)化有關(guān)。
快速來自上面提到的TSP的優(yōu)化，除此之外，Groq上面的模型也是他們自己微調(diào)過的，它并沒有公開微調(diào)過程，所以對于模型本身的看法來源于我的推測:它上面可以選用的所有的模型后面都有“小尾巴”，比如Llama270B-4K啊、Mixtral8x7B-32k啊。這個小尾巴是內(nèi)容長度（Content Length）的意思，這個指標(biāo)用來衡量模型生成的文本的長度，以便評估其生成內(nèi)容的豐富程度或詳細(xì)程度，這個數(shù)字越大輸出的內(nèi)容就越復(fù)雜。看起來Groq應(yīng)該是沒有在輸出結(jié)果上進(jìn)行微調(diào)，而是對模型處理過程進(jìn)行微調(diào)，縮短了模型推理的時間限制，減少了它充分進(jìn)行推理的時間，這樣再配合TSP本身固有的加速，形成了最后的結(jié)果。
在社交媒體上，也有很多人在被這閃電般的速度震撼后，開始發(fā)現(xiàn)它生成的質(zhì)量似乎總是不合乎人意。
從技術(shù)和性能上來看，Groq目前還不能撼動英偉達(dá)的地位。原因很簡單，英偉達(dá)的GPU產(chǎn)品是通用的，而Groq的產(chǎn)品形態(tài)是ASIC，它不是通用產(chǎn)品，而是一個定制產(chǎn)品。簡單點來說，任何一個人工智能算法都可以使用英偉達(dá)的H200，但只有Mixtral和Llama2才能使用Groq的LPU。大模型公司想要使用Groq的產(chǎn)品，還需要先確定需求和指定規(guī)格，再進(jìn)行功能驗證，最后生產(chǎn)出來的產(chǎn)品才能使用。
這還帶來了實際使用中的價格問題。
Lepton AI的賈揚清也做了一個詳細(xì)的計算，發(fā)現(xiàn)如果運行三年的話，Groq 的硬件采購成本是1144萬美元，運營成本是76.2萬美元或更高。8卡 H100的硬件采購成本是30萬美元，運營成本是7.2萬美元或略低。
事實上Groq背后的概念也不新鮮了。2015年到2019年期間，隨著人工智能這個概念被炒起來，誕生了很多“加速卡”公司，他們在PCIe插槽上制作類似GPU的產(chǎn)品，給當(dāng)時的人工智能算法提供定制的物理加速服務(wù)，性質(zhì)跟Groq差不太多。雖然有不少那樣的公司在當(dāng)時沸沸揚揚，然而才過了幾年的工夫，你又能回想起幾個這樣的公司呢?希望這一次Groq的驚艷也不是一時的。
