?譯者 | 李睿
審校 | 重樓
PyTorch不僅用于研究，還用于生產目的，每天有數十億個請求得到服務和訓練。
PyTorch社區最近取得了顯著的進步。PyTorch的貢獻者在去年還為GPT等Transformer模型引入了BetterTransformer推理優化，這顯著地提高了這些模型的性能。這個高度優化的代碼集合專門設計用于加速生產工作負載中的Transformer模型，允許更準確和有效的數據生成。這是一個令人興奮的發展，有可能很快給許多行業帶來革命性的變化。
生成式人工智能在從現有來源生成新數據方面的變革潛力已經得到了廣泛認可。人工智能領域最近的突破引發了人們對理解推動這些進步的潛在機制的興趣。為了進一步了解，行業領先的人工智能專家為此對PyTorch是如何為生成式人工智能的發展鋪平道路進行了分析和闡述。
1、硬件加速在默認情況下，PyTorch的發展速度已經很快，但是隨著編譯器技術的引入，它的性能得到了進一步增強。該技術通過融合操作、自動調優和優化程序，在可用的硬件上盡可能快地運行，從而實現了更快的模型訓練和服務，與以前版本的軟件相比，其性能得到了顯著提高。
PyTorch 2.0堆棧的核心Dynamo和Inductor分別獲取一個程序并對其進行優化，使其在現有的硬件上盡可能快地運行。Lightning AI公司首席技術官、PyTorch撰稿人Luca Antiga評論說，“這是通過融合操作實現的，這樣計算就可以飽和，而不會受到內存訪問和自動調優的阻礙，專用內核就可以在運行時進行優化，以實現最大性能。訓練和推理都可以獲得高達40%的增益，這是一個非常重要的發展。此前，PyTorch擁有優化程序的技術，但它要求用戶調整代碼以使其工作，并禁止某些操作，例如調用其他Python/ target=_blank class=infotextkey>Python庫。另一方面，PyTorch 2.0將在所有這些情況下發揮作用，報告在這一過程中可以優化和不能優化的內容。”
PyTorch現在支持多種不同的后端和計算設備，使其成為最通用的深度學習框架之一。這也使得使用PyTorch構建的模型比以往任何時候都更容易部署到生產中，包括通過ROCm在AMD GPU上部署。Private AI公司首席技術官Pieter Luitjens表示：“這對模型開發很有幫助，但最好使用不同的框架來進行生產。這是PyTorch開發人員自己推薦的，因此，PyTorch為FasterTransformer等軟件包提供了強大的支持，FasterTransform是英偉達公司創建的一個推理引擎，大多數大型科技公司都使用它來運行GPT等模型。”
2、研究人員考慮采用PyTorch自從2018年推出并取代TensorFlow以來，PyTorch已經顯示出了它的靈活性。
當時，它都是用于卷積神經網絡，而現在PyTorch被用于完全不同類型的模型，例如當時不存在的穩定擴散。Pieter反思說，“在我看來，PyTorch已經成為生成人工智能的首選工具，因為它專注于動態執行，使研究人員易于使用原型，并且能夠輕松擴展到數千個GPU。沒有比GPTNeo和BLOOM最近的開源語言模型更好的例子了，如果沒有PyTorch，這是不可能的。GPTNeo背后的團隊特別呼吁，需要將PyTorch作為一個推動者。”
研究人員越來越偏愛PyTorch。然而，同樣明顯的是，與PyTorch不同的是，TensorFlow是為工業用途量身定制的，擁有大量的可定制功能和支持用例，例如JVM兼容性和在線服務。Abnormal Security公司機器學習主管Dan Shiebler說，“這使得企業更容易在生產中使用TensorFlow，并將TensorFlow用例擴展到數十億個用戶。然而，這種強大的功能使得TensorFlow更加僵化，更難以學習，也更難適應全新的應用。例如，TensorFlow對靜態圖的依賴使得可變長度序列(生成式人工智能的核心組件)難以管理。因此，PyTorch被研究團體更廣泛地使用。這就產生了飛輪效應。PyTorch首先發布了新模型，這使得研究人員在擴大先前的研究時從PyTorch開始。”
3、為更加輕松簡便而積極開發與其他框架相比，編寫PyTorch更像是編寫普通的Python。完全支持控制流、循環和其他操作，使代碼具有可讀性和表現力。此外，PyTorch的調試經驗是一流的；Pdb可以無縫地工作，允許逐步執行程序，并在執行過程中急切地執行操作。Luca對此表示贊賞，他說，“這種體驗比使用其他框架要輕松得多，使用戶能夠快速迭代到一個工作模型。”
當PyTorch與PyTorch Lightning或Lightning Fabric等項目結合在一起時，它真的很出色，這些項目通過抽象工程細節來補充它，并允許研究人員在不更改代碼的情況下將模型擴展到數十億個參數和機器集群。PyTorch并沒有什么特別的缺點。也許像vmap這樣的高階導數和程序轉換，在functhorch中提供，但沒有達到JAX等其他項目的水平，對某些領域來說可能是相關的限制，盡管對當今的深度學習來說，限制的不是那么多。
通過對PyTorch的貢獻，Luca肯定了當今在人工智能和利用人工智能方面進行的大多數研究都是在PyTorch中實現的，并且這一實現通常作為開源共享。建立在彼此想法基礎上的能力是一種令人難以置信的強大動力，創造了一種指數現象。
原文鏈接：https://dzone.com/articles/why-pytorch-generative-ai-gpt4
