如果您對機器學習感興趣或正在閱讀本文,那么您很有可能以前聽說過PyTorch。 在機器學習開發人員中,這是一個非常著名的框架,由于很好的原因,我們將在本文中進行討論。 另外,如果您只是從神經網絡開始并且具有基礎知識,那么這是一個完美的初學者工具。
好吧,讓我們進入PyTorch的精髓吧?
PyTorch的歷史
Torch最初是用Lua編寫的,這種用法并不常見,很難理解,而且它沒有Python提供的一半功能。
因此,在2017年,Facebook的AI研究實驗室決定建立一個與Torch庫具有相同功能但不包含python的庫,因此命名為PyTorch。 這在開發人員中立即受到打擊,并使編寫代碼更容易,更有效。
認知計算-一種被廣泛認為是……的最重要表現的技能
作為其用戶,我們已逐漸將技術視為理所當然。 這些天幾乎沒有什么比這更普遍了……
趣聞:PyTorch Soumith Chintala的開發人員之一是VIT的校友,而這恰好是我目前就讀的我的大學!
Pytorch與Tensorflow
我覺得在PyTorch和Tensorflow之間總是有一個比較,因為它們使用不同的方法來解決問題,因此我認為這是不必要的,并且根據數據集和算法,一種方法要比另一種效果更好。 但是,如果您仍然好奇,可以在這里查看這篇非常簡潔的文章。
是什么使Pytorch成為一個好的框架?
· 命令式編程:在PyTorch中,計算會立即運行,這意味著用戶無需等待編寫完整的代碼即可檢查其是否有效。 這對于像我這樣急躁的程序員來說是個好兆頭,他們希望在每一行代碼之后都能看到結果。 這還允許在python中提供更靈活的編碼體驗,并且更受性能驅動。
> Source:https://medium.com/@vincentbacalso/imperative-vs-declarative-programming
2.動態計算圖:動態計算圖框架是一個由庫,接口和組件組成的系統,這些庫,接口和組件提供了靈活的,編程的,運行時接口,通過連接有限但可能可擴展的一組操作來促進系統的構建和修改。 因此,基本上,PyTorch遵循運行定義的原理,這對于像RNN這樣的非固定大小的網絡非常有用。
> Source: Hackernoon.com
1. Autograd:此類是計算導數的引擎(更精確地說,是Jacobian矢量積)。 它記錄了在啟用梯度的張量上執行的所有操作的圖,并創建了一個稱為動態計算圖的非循環圖。 該圖的葉子是輸入張量,根是輸出張量。 通過從根到葉跟蹤圖并使用鏈法則將每個梯度相乘來計算梯度。
torch.nn.Autograd.Function
> Source: Udacity.com
Pytorch的常用功能
· torch.sum():加法
(a*b).sum()
1. torch.mm():點積。
#torch.nm(a,b)
1. torch.randn():生成矩陣隨機數
torch.manual_seed(7)
# Set the random seed so things are predictable
x = torch.randn(2,2)
1. torch.exp():計算指數
Sigmoid=1/(1+torch.exp(-x))
1. PyTorch提供了一個模塊nn,它使構建網絡更加簡單。
from torch import nn
-nn.Linear():此行創建用于線性變換+的模塊。
類似地,以下函數可用于計算相應的激活函數。
-nn.Sigmoid()
-nn.Softmax()
self.output = nn.Linearse
lf.sigmoid = nn.Sigmoid()
self.softmax = nn.Softmax(dim=1)
#columnwise
1. nn.Sequential:使用此方法,我們可以依次通過操作傳遞張量。
model = nn.Sequential(nn.Linear(input_size, hidden_sizes[0]), nn.ReLU(), nn.Linear(hidden_sizes[0], hidden_sizes[1]), nn.ReLU(), nn.Linear(hidden_sizes[1], output_size), nn.Softmax(dim=1))
7.損失計算
criterion = nn.CrossEntropyLoss()
criterion = nn.NLLLoss()
criterion = nn.LogSoftmax()
1. Autograd:Autograd的工作原理是跟蹤對張量執行的操作,然后回溯這些操作,并計算沿途的梯度。
-loss.backward()計算用于計算參數的梯度。 這些梯度用于通過梯度下降來更新權重。
loss.backward()
optimizer.zero_grad()將每個訓練遍的梯度歸零,否則它將保留先前訓練批次的梯度。
optimizer.zero_grad()
結論
我一直將本文的重點放在PyTorch的理論和語法上,在第二部分中,我將通過開發神經網絡來演示PyTorch在數據集上的演示。 因此,請繼續關注并感謝您的閱讀。 干杯!
參考:
https://classroom.udacity.com/courses/ud188-PyTorch簡介。
(本文翻譯自Puja Chaudhury的文章《PyTorch: The Basics.》,參考:
https://medium.com/datadriveninvestor/pytorch-the-basics-7005e71cdb83)