作者 | Bright Liao
在《程序員眼中的 ChatGPT》一文中，我們聊到了開發(fā)人員對(duì)于ChatGPT的認(rèn)知。本文來(lái)聊一聊ChatGPT用到的機(jī)器學(xué)習(xí)技術(shù)。
機(jī)器學(xué)習(xí)技術(shù)的發(fā)展
要聊ChatGPT用到的機(jī)器學(xué)習(xí)技術(shù)，我們不得不回顧一下機(jī)器學(xué)習(xí)技術(shù)的發(fā)展。因?yàn)椋珻hatGPT用到的技術(shù)不是完全從零的發(fā)明，它也是站在巨人的肩膀上發(fā)展起來(lái)的。
1.機(jī)器學(xué)習(xí)技術(shù)的分類
實(shí)際上機(jī)器學(xué)習(xí)技術(shù)可以追溯到上個(gè)世紀(jì)三四十年代，一開始就與統(tǒng)計(jì)學(xué)分不開。早在1936年，著名的統(tǒng)計(jì)學(xué)家Fisher發(fā)明了線性判別分析方法（LDA）。LDA利用方差分析的思想，試圖將高維數(shù)據(jù)分開。這后來(lái)演化為一類基礎(chǔ)的機(jī)器學(xué)習(xí)技術(shù)要解決的問(wèn)題，即分類問(wèn)題。
在計(jì)算機(jī)出現(xiàn)之后，大量的基于計(jì)算機(jī)的機(jī)器學(xué)習(xí)算法出現(xiàn)，比如決策樹、SVM、隨機(jī)森林、樸素貝葉斯、邏輯回歸等。它們也都可以用于解決分類問(wèn)題。
分類問(wèn)題是指我們事先知道要分為哪幾類，這些類通常是人為定義的。比如人分為男性和女性，編程語(yǔ)言分為C/C++/JAVA等。
還有一類問(wèn)題是我們無(wú)法預(yù)先知道要分為幾類的，比如給定一系列的新聞，按照主題進(jìn)行分組，而我們可能無(wú)法事先人為確定有幾個(gè)主題。此時(shí)可以利用機(jī)器學(xué)習(xí)算法自動(dòng)去發(fā)現(xiàn)新聞中有幾個(gè)類，然后再把不同的新聞放到不同的分類。這種問(wèn)題是聚類問(wèn)題。
有時(shí)，這個(gè)分類可能是連續(xù)的，比如，我們要用一個(gè)機(jī)器學(xué)習(xí)模型去預(yù)測(cè)某個(gè)人的身高，此時(shí)可以認(rèn)為結(jié)果是在某一個(gè)范圍內(nèi)連續(xù)變化的值。這類問(wèn)題，我們把它叫做回歸問(wèn)題。與分類的問(wèn)題的區(qū)別僅僅在于我們希望輸出一個(gè)連續(xù)的值。
除此之外，一些典型的機(jī)器學(xué)習(xí)問(wèn)題還包括：降維、強(qiáng)化學(xué)習(xí)（通過(guò)智能體與環(huán)境的交互來(lái)學(xué)習(xí)最佳行動(dòng)策略）等。
除了根據(jù)問(wèn)題不同進(jìn)行分類，還可以從機(jī)器學(xué)習(xí)技術(shù)使用數(shù)據(jù)的方式進(jìn)行分類。從這個(gè)角度可以將機(jī)器學(xué)習(xí)技術(shù)分為有監(jiān)督學(xué)習(xí)、無(wú)監(jiān)督學(xué)習(xí)、半監(jiān)督學(xué)習(xí)等。有監(jiān)督學(xué)習(xí)要求我們?yōu)槟Ｐ蜏?zhǔn)備好標(biāo)簽值。無(wú)監(jiān)督學(xué)習(xí)則無(wú)需我們準(zhǔn)備標(biāo)簽值，只需數(shù)據(jù)即可開始訓(xùn)練。半監(jiān)督學(xué)習(xí)是指需要一部分有標(biāo)簽值的數(shù)據(jù)。
從解決的問(wèn)題上來(lái)看，ChatGPT可以認(rèn)為是一個(gè)分類模型，它根據(jù)輸入的文本預(yù)測(cè)下一個(gè)要輸出的詞是什么，而詞的范圍是確定的，即模型的輸出是一個(gè)確定的分類。
從ChatGPT使用數(shù)據(jù)的方式來(lái)看，可以認(rèn)為是使用了大量的無(wú)監(jiān)督數(shù)據(jù)，加上少量的有監(jiān)督的數(shù)據(jù)。所以，可以認(rèn)為ChatGPT是一個(gè)半監(jiān)督的機(jī)器學(xué)習(xí)技術(shù)。
2.傳統(tǒng)的機(jī)器學(xué)習(xí)算法與基于人工神經(jīng)網(wǎng)絡(luò)的機(jī)器學(xué)習(xí)算法
上面提到的決策樹、SVM、隨機(jī)森林、樸素貝葉斯、邏輯回歸等算法，多是基于可驗(yàn)證的可理解的統(tǒng)計(jì)學(xué)知識(shí)設(shè)計(jì)的算法。它們的局限性主要在于效果比較有限，即便使用海量數(shù)據(jù)也無(wú)法繼續(xù)提升，這要?dú)w因于這些模型都是相對(duì)簡(jiǎn)單的模型。由于這些算法都是很早就被開發(fā)出來(lái)了，并且一直很穩(wěn)定，沒(méi)有什么更新，我們一般稱這些算法為傳統(tǒng)的機(jī)器學(xué)習(xí)算法。
另一類機(jī)器學(xué)習(xí)算法是基于人工神經(jīng)網(wǎng)絡(luò)的機(jī)器學(xué)習(xí)算法。這一類算法試圖模擬人類的神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)。其起源也很早，要追溯到1943年，W. S. McCulloch和W. Pitts提出的M-P模型。該模型根據(jù)生物神經(jīng)元的結(jié)構(gòu)和工作機(jī)理構(gòu)造了一個(gè)簡(jiǎn)化的數(shù)學(xué)模型，如下圖。
其中，xi代表神經(jīng)元的第i個(gè)輸入，權(quán)值wi為輸入xi對(duì)神經(jīng)元不同突觸強(qiáng)度的表征，θ代表神經(jīng)元的興奮閥值，y表示神經(jīng)元的輸出，其值的正和負(fù)，分別代表神經(jīng)元的興奮和抑制。
該模型的數(shù)學(xué)公式可以表示為：
