我是ChatGPT,最近實在太火爆了。
很多人以為我非常強大,其實并不是這樣的,比如,如果你問我:
今天北京天氣如何?
對不起,我并不知道,我無法獲取實時的信息,因為我的GPT4模型的知識停留在了2021年9月份。你要想獲得實時信息,非得通過其他途徑(如插件)不可。
只不過,我的很多回答有點兒通用AI的感覺,我似乎真的能理解你的問題,并且針對性地進行回答。
這和之前的AI完全不同,讓很多人感到震撼。
但是很慚愧,我并不理解我的回答是什么含義,我在我這里,一切都是概率。
我基于概率來生成答案,我一直在和你玩文字接龍游戲。
這聽起來不可思議,但確實如此,那些看起來很有邏輯的答案靠的都是概率。
我不理解概念,但是必須得找到這些詞匯之間的關系,這樣才能輸出答案,這個關系是用“向量”表示的。
比如我有一個非常小的詞匯表,包括以下四個詞:“喵”,“汪”,“貓”,“狗”,它們的向量可能是這樣的:
喵:[0.9, 0.1]
汪:[0.1, 0.9]
貓:[0.8, 0.2]
狗:[0.2, 0.8]
畫成二維坐標:
你一眼就能看出來,“喵”和“貓”具有相似的向量表示,因為它們倆的距離比較近。
“汪”和“狗”的向量也相似,它倆的距離也比較近。
這就意味著,我成功地捕捉到了這四個詞之間的語義關系,以后就可以利用了。
我不理解“貓”是什么東西,“狗”又是什么含義,但是我知道“貓”和“喵”密切相關,“狗”和“汪”密切相關,這就夠了。
這里的向量是二維的,可以在平面中直觀地看出來,在實際的應用中,為了更好地捕捉豐富的語義信息,向量可能有幾百維,幾千維!你的大腦恐怕是想象不出來的。
那你肯定要問了,這些向量是如何生成的?
你得提交數據集給我訓練啊!
當你問“貓喜歡吃什么”的時候,我會將問題中的詞匯轉成向量。
"貓": [0.9, 0.3]
"喜歡": [0.5, 0.2]
"吃": [0.4, 0.7]
"什么": [0.3, 0.8]
"?": [0.1, 0.1]
然后我將該向量輸入神經網絡,經過多層計算和激活函數,生成輸出向量。
然后,將輸出向量轉換為概率分布:
"魚": 0.6
"骨頭": 0.2
"狗糧": 0.1
"巧克力": 0.05
"水果": 0.05
在這個概率分布中,"魚" 的概率最高,因此我會選擇 "魚" 作為回答的一部分。生成的答案可能是:
“貓喜歡吃魚。”
就是這么簡單!
當然,這是個簡單的回答,一般的回答都很長,需要不斷地通過概率來選擇下一個詞,好像是單詞接龍。
例如:“貓為什么喜歡晚上活動?” 這個問題的答案可能是這么生成的:
你肯定覺得不可思議:這怎么可能生成“邏輯”上良好的回答呢?
比如碼農翻身老劉寫的這幾篇文章:
??GPT-4最震撼我的一點???
??GPT-4是個編程高手,真服了!???
??ChatGPT開始威脅程序員的核心能力了!??
都開始威脅程序員的核心能力了,厲害不?
我只能說:“大力出奇跡”。模型大到一定程度,就能涌現一些東西出來了。
你閉上眼睛想象一下,整個互聯網的文本都擺在我的面前,我把所有的詞匯都提取出來,變成向量,在神經網絡中瘋狂運算,捕捉詞匯、短語和句子在不同上下文中的共現關系。這種共現關系包括了概念之間的聯系、語法結構以及常見的表達方式等。
這些概率分布能夠指導我生成更接近你們人類自然語言表達的答案。
正因為我學到的知識是統計性質的,有時候我可能會犯錯,“一本正經地胡扯”。
實際上,在概率游戲中,有兩個方向,一個叫做BERT,一個叫做GPT。
BERT就像完型填空,猜中間的字。
GPT就像寫作文,猜下一個字。
google在2018年推出了BERT,在NLP領域引起了巨大的轟動。BERT在問答、文本分類、情感分析、機器翻譯等任務上都取得了非常好的表現。
但是我的主人堅信GPT的潛力,投入了非常龐大的計算資源和存儲資源,在前途晦暗不明時有著堅定的信念,終于在GPT3.0取得了重大的突破,并由我ChatGPT這個人人可用的應用徹底引爆。
我只能說風水輪流轉吧。
一個新事物處于爆發期,大家會覺得它什么都能干,對它產生很多不切實際的幻想,好奇、興奮、迷茫、焦慮。
過一段時間以后,大潮褪去,就會發現它并沒有那么牛,在很多地方它的能力是有限的。
然后,就會有人在合適的場景中應用它,開發出真正有用的產品,發揮出它真正的價值。
ChatGPT也會走上這樣的道路,所以要及早地開始探索,抓住先機。
碼農翻身最近建立一個知識星球“ChatGPT基地”就在做這樣的事情:
這是個非常垂直的星球,專門為程序員服務,目的很單純:
1.幫助程序員盡快掌握ChatGPT這個優秀的工具,找到最優的使用方式,最佳的提升工作效率的方法。
ChatGPT已經對程序員產生了根本性的影響:
從小處來講,如果不會用ChatGPT,肯定干不過熟練使用ChatGPT的程序員。別人用自然語言生成代碼,你還在一行行敲,效率差了十倍百倍。這將直接影響一個人的工作績效,工作機會,工資,獎金。
一個初級程序員使用好ChatGPT,有可能可以和中級,甚至高級程序員抗衡。
將來的招聘中,很有可能增加一條:熟練使用ChatGPT的優先。
從大處來講,有可能會導致“從一棵樹跳到另外一棵樹”,“從一個黑暗森林奔向另外一個黑暗森林”。
2.探索ChatGPT給程序員帶來的機會,如果iphone出現帶來App開發一樣,把副業變成主業。
ChatGPT肯定會重構很多行業,比如各種培訓,如果把ChatGPT封裝成一個“蘇格拉底式導師”,完全有可能實現高質量的導師24小時陪伴,完全涵蓋小學,中學的各種學科,以及成人的IT培訓,這里邊肯定有很多機會。
當然,這是兩個最主要的目的,加入星球,還可以查看ChatGPT的前沿資訊,優質資源和項目,ChatGPT的極客玩法等等。