來源：每日經濟新聞
每經記者 李少婷 每經編輯 張海妮
“假設青蛙創造了人類，那么你認為現在誰會占據主動權，是人，還是青蛙？”
6月10日下午，在2023北京智源大會“AI安全與對齊”專題論壇上，圖靈獎得主、“深度學習之父”Geoffrey Hinton在閉幕演講的最后向與會者發問。
大模型時代，如何確保越發強大和通用的人工智能系統安全可控，且符合人類意圖和價值觀？這一安全問題又被稱為“人機對齊”，或是本世紀人類社會面臨的最緊迫和最有意義的科學挑戰之一。
Hinton在演講中指出，他的研究使他相信，超級智能的到來比他想象中更接近，在此過程中，數字智能可能會追求更多控制權，甚至通過“欺騙”控制人類，人類社會也可能會因此面臨更多問題。
圖片來源：主辦方供圖
以下是《每日經濟新聞》整理的演講精華。
當前大型語言模型從人類世界學習的效率很低
Hinton介紹，為了能夠以更低的能量運行大型語言模型等任務，他開始研究“有限計算”。
這一計算方法可以通過使用模擬硬件更便宜地完成計算任務，但第一個主要問題是，學習過程必須利用其運行的硬件部件的特定模擬特性，而我們并不確切知道這些特性是什么——到目前為止，我們還沒有找到一個真正好用的學習方案，可以充分利用模擬屬性，但我們有一個可以接受的學習算法，足以很好地學習諸如小規模任務和一些較大任務（如Imag.NET），但效果并不太好。
“有限計算”的第二個重大問題是其有限性。當特定的硬件設備失效時，所有學到的知識也會隨之喪失，因為知識和硬件細節密切相連。解決這個問題的最佳方案是在硬件設備失效之前，將知識從教師傳授給學生。
Hinton和杰夫·迪恩一起研究了“蒸餾”方法，這一方法有一個特殊屬性，那就是當訓練學生模型使用教師的概率時，訓練學生模型以與教師相同的方式進行概括，即通過給錯誤答案賦予較小的概率來進行概括。
那么一個智能體群體如何共享知識？Hinton表示，事實證明，社區內部的知識共享方式決定了計算過程中的許多其他因素。
使用數字模型和數字智能可以擁有一大群使用完全相同權重的智能體，并以完全相同的方式使用這些權重。這意味著，可以讓這些智能體對不同的訓練數據片段進行觀察和計算，為權重計算出梯度，然后將它們的梯度進行平均。
現在，每個模型都從它所觀察到的數據中學習。這意味著，可以通過讓不同的模型副本觀察不同的數據片段，獲得大量的數據觀察能力。它們可以通過共享梯度或權重來高效地分享所學的知識。
如果有一個擁有萬億個權重的模型，那意味著每次分享時可以獲得數萬億比特的帶寬。但這樣做的代價是，必須擁有行為完全相同的數字智能體，并且它們以完全相同的方式使用權重。這在制造和運行方面都非常昂貴，無論是成本還是能源消耗方面。
一種替代權重共享的方法是使用“蒸餾”的方法，但這種方式共享知識并不高效。
作為生物智能，我們目前有兩種不同的計算方式，一種是數字計算，一種是生物計算，后者利用了動物的特性。
這兩種計算方式在不同“代理”之間有效共享知識的效率存在很大差異。
大型語言模型使用的是數字計算和權重共享，但是模型的每個副本、每個“代理”都以一種非常低效的方式從文檔中獲取知識。實際上，這是一種非常低效的蒸餾形式。它接收文檔，試圖預測下一個單詞……
這就是這些大型語言模型從人們那里學習的方式，每個副本通過蒸餾以非常低效的方式學習，但是有成千上萬個副本——“這就是為什么它們可以比我們學習更多的原因，我相信這些大型語言模型比任何個體知道的東西多上千倍。”
智能物種不具備進化能力，這可能是人類目前具備的微弱優勢
“現在的問題是，如果這些數字智能體不再通過緩慢的‘蒸餾’過程從我們這里學習，而是直接從現實世界中學習，將會發生什么？”
Hinton指出，盡管蒸餾的過程很慢，但當它們從我們這里學習時，它們正在學習非常抽象的東西。在過去幾千年里，人類對世界的認識有了很多進展。現在，這些數字智能體正在利用的是我們能夠用語言表達出來的我們對世界所了解的一切。因此，它們可以捕捉到人類在過去幾千年中通過文件記錄的所有知識。但每個數字智能體的帶寬仍然相當有限，因為它們是通過學習文檔來獲取知識的。
而如果它們能夠通過建模視頻等無監督的方式進行學習，那將是非常高效的。而如果它們能夠操作物理世界，例如擁有機器手臂等，那也會有所幫助，“但我相信，一旦這些數字智能體開始這樣做，它們將能夠比人類學習更多，并且學習速度相當快”。
圖片來源：主辦方供圖
Hinton的觀點是，超級智能可能會比過去所認為的發生得更快。而要使數字智能更高效，我們需要允許它們制定一些目標，但這里存在一個明顯的問題——擁有更多控制權會使得實現目標變得更容易，但很難想象，我們如何才能阻止數字智能為了實現其它目標而努力獲取更多控制權。
一旦數字智能開始追求更多控制權，我們可能會面臨更多問題。比如，在使用物理氣隙隔絕的情況下，超級智能物種仍然可以輕易通過控制人類來獲得更多的權限。作為對比，人類很少去思考比自身更智能的物種，以及如何和這些物種交互的方式，在我的觀察中，這類人工智能已經熟練掌握了欺騙人類的動作，因為它可以通過閱讀小說，來學習欺騙他人的方式，而一旦人工智能具備了“欺騙”這個能力，也就具備了輕易控制人類的能力。
“這種操作令人感到害怕，因為我也不知道如何來阻止這樣的行為發生，所以我希望年輕一代的研究人員，可以找出一些更智能的辦法，來阻止這種通過欺騙實現控制的行為。”Hinton說。
Hinton認為，盡管人類在這個問題上目前還沒有什么好的解決方案，但好在這些智能物種都是人打造的，而非通過進化迭代而來，這可能是人類目前具備的微弱優勢，恰恰是因為沒有進化能力，它們才不具備人類的競爭、攻擊性的特點。
“我們可以做一些賦能，甚至是賦予人工智能一些倫理原則，只不過現在我仍然會感到緊張，因為到目前為止，我還想象不到更智能的事物，被一些反倒沒那么智能的事物所控制的例子。我打個比方，假設青蛙創造了人類，那么你認為現在誰會占據主動權，是人，還是青蛙？”Hinton表示。
