未來AI會不會發起黑客攻擊？當然有可能，而且可能近在咫尺。
AI攻擊會先確定目標，然后獲得反饋，不斷優化提升。如果某一天AI能開發出完全新穎的解決方案，甚至開始優化方案，那其殺傷力將是巨大的。
對于圍棋之類的游戲，規則、目標、反饋都算是簡單的，確定的，沒有什么外在的東西攪局，輸或者贏就是反饋。GPT-3 AI可以寫連貫文章，因為它所在的世界只有文本。正因如此，當前的黑客獎勵活動有許多是在模擬環境下進行的，全是人為、全都受約束，所有規則都是為AI準備的。
系統的模糊性才是關鍵所在。我們可以將全球的稅法全部輸入AI，因為稅法里有公式，用來確定欠了多少稅。即使如此，所有法律都有模糊性。模糊很難轉化為代碼，AI處理起來很棘手。所以即使有了AI，在可預見的未來還是需要大量稅務律師。
大多的人類系統模糊性更強。AI能不能成為現實世界體育比賽黑客（比如曲棍球比賽）？恐怕很難。AI必須理解游戲的規則，但還遠遠不夠，它還要理解人體生理學、球桿和球的空氣動力學，等等。當然我們不能說絕對不可能，但肯定比應付圍棋要難得多。
在短期內，正因為社會系統極為復雜，存在模糊性，增強了系統對AI黑客的防御力。未來一段時間不太可能會有AI體育黑客出現。如果機器人親自參與比賽，或者未來某一天AI極為先進，能從所有維度理解廣闊世界，那時也許會有AI體育黑客誕生。
同樣的，賭場AI黑客、法律程序AI黑客也不太容易開發。AI想模擬個體或者群體工作還需要很長時間，暫時做不到。
但不要低估AI的非線性進化能力世界到處是AI黑客，這是一個科幻問題，但它并不是愚蠢的科幻問題。AI飛速提升，它的進步是不穩定、不連貫的。我們原本認為很難的問題可能是容易的，認為容易的也可能被證明是很難的。幾十年前我們可能會嘲笑AI，認為它不可能征服圍棋，因為圍棋太復雜：不是說規則復雜，而是棋步的可能性太多。現在呢？AI已經拿下圍棋。
所以說，我們應該提前思考AI黑客問題，早早準備預案。
首先我們應該重視的可能是金融系統中的AI黑客，因為金融系統的規則容易被算法利用。高頻率交易算法就是一個好例子，未來它會變得更復雜。我們可以用全球的金融實時信息武裝AI，加上全球的法律法規，加上新聞信息，加上其它相關信息，然后指派AI完成一個目標，追求“最大的合法利潤”或者“盡可能獲得最大的利潤”。到時可能會有一些黑客行為超出人類的理解，也就是說人類根本意識不到黑客行為發生了。當然，這樣的事情現在看來還有些遙遠。
在短期內，AI可能會配合人類完成黑客攻擊。AI可以尋找漏洞，有經驗的會計師或稅務律師協作，利用豐富經驗判斷是否可以利用漏洞牟利。
成熟AI黑客的殺傷力不可估量縱觀人類歷史，黑客攻擊一般都是人類行為。AI如果開始發起攻擊，一切都會改變。AI不會限定于相當的方式，不會像人一樣受到諸多限制。AI根本不休息，它們像外星人一樣思考，它可以以人類無法預料的方式黑掉系統。
計算機會在四個維度增強攻擊：速度、規模、范圍和復雜度。AI可以將攻擊力增強很多倍。
速度：人類發起攻擊可能要幾個月甚至幾年，AI不需要，幾天、幾小時甚至幾秒都有可能。例如，如果你把整個美國稅法全部輸入AI，命令它找出一套方案，將某個人的稅款降到最低，會怎樣？如果是跨國公司，可能會讓AI分析全球的稅法，給企業降稅。
規模：一旦AI找到了漏洞，它可能會以超大規模利用漏洞。當AI開始闖入金融系統，它們會統治整個行業。到時信貸市場、稅法、普通法律都可能向富人傾斜。AI會讓不平等加劇。最先出現的AI金融黑客可能不是追求平等的研究人員開發的，而是跨國銀行、對沖基金、管理顧問。
范圍：社會的確有一套方案應對黑客，但應付的主要是人類黑客，是人類速度的攻擊。如果AI可以快速從稅法中找到幾百個漏洞，國家如何應付，修正稅法的速度根本跟不上。
復雜度：在AI的輔助下，人類黑客可以發起復雜攻擊，其復雜度超過無輔助人類的理解水平。人工智能的復雜統計分析可以揭示變量之間的關系，找到隱藏漏洞，即使是最好的戰略家和專家也可能沒有意識到漏洞的存在。
當AI以超快速度、超大規模、超廣范圍、超高復雜度發起攻擊時，社會可能根本無法處理。AI會不會突破人類的限制甚至統治社會？一些AI研究人員的確感到擔憂。雖然現在聽起來像是猜測，但人類早早預防還是有必要的。（曉歌）
