【ITBEAR】8月9日消息，深度學習領域的權威人物Yoshua Bengio近期宣布加入一項名為“Safeguarded AI”（受保護的人工智能）的重要項目，擔任科學總監一職。這一項目旨在通過融合科學的世界模型與數學證明，構建一個專門負責理解和降低其他AI Agent風險的AI系統，強調量化安全保障的核心價值。
據ITBEAR了解，Safeguarded AI項目由英國高級研究與發明局（ARIA）提供資金支持，預計總投資將達到5900萬英鎊（約合人民幣5.37億元）。Bengio在加入后特別關注技術領域TA3和TA2，將為整個計劃提供科學戰略指導。ARIA還計劃投入1800萬英鎊（約合人民幣1.64億元）成立一個非營利組織，專注于TA2的研發工作。
Safeguarded AI項目分為三個主要技術領域：支架（Scaffolding）、機器學習（Machine Learning）和應用（Applications）。支架領域致力于構建一個可擴展、可互操作的語言和平臺，用于維護現實世界模型/規范并檢查證明文件。機器學習領域則利用前沿AI幫助領域專家構建復雜的現實世界動力學數學模型，并訓練自主系統。應用領域則關注在關鍵的網絡-物理操作環境中部署由“把關AI”保護的自主AI系統，通過量化安全保障釋放重要的經濟價值。
項目總監由前Twitter高級軟件工程師David “davidad” Dalrymple擔任，他于去年9月加入ARIA。Dalrymple對Bengio的加入表示歡迎，并在X（原推特）上分享了二人的合照。為了具體實現“構建一個負責理解和降低其他AI Agent風險的AI系統”的目標，Dalrymple、Bengio等人提出了一種名為“Guaranteed Safe AI”（保證安全的AI）的模式。該模式通過世界模型、安全規范和驗證器三個核心相互作用，量化AI系統的安全保障。
此外，他們還為世界模型的創建策略劃分了L0-L5的安全等級，涵蓋了從沒有明確世界模型到不依賴具體世界模型，而是使用覆蓋所有可能世界的全局性安全規范的各個層次。這一項目的推進不僅體現了AI安全領域的重要性，也展示了行業大佬們對AI風險的持續關注與探討。
值得一提的是，AI風險一直是行業關注的焦點話題。包括吳恩達、Hinton、LeCun、哈薩比斯等在內的AI巨佬們曾多次就此展開討論。吳恩達曾表示，對AI的最大擔憂是AI風險被過度鼓吹，導致開源和創新受到嚴苛規定的壓制。而DeepMind CEO哈薩比斯則認為，AGI的風險需要從現在開始就進行討論，以避免可能的嚴重后果。
在此之前，Bengio還與Hinton、姚期智、張亞勤等人工智能領域的專家共同發表了一封公開信，就管理AI風險提出了建議。他們指出，人類必須認真對待AGI在未來10年或更長時間內在許多關鍵領域超越人類能力的可能性，并建議監管機構對AI發展進行全面洞察，特別警惕那些在超級計算機上訓練出來的大模型。
更多關于Guaranteed Safe AI的詳細信息，可訪問：https://arxiv.org/abs/2405.06624
