【ITBEAR】在2024年IDEA大會上，美國國家工程院外籍院士、IDEA研究院創院理事長沈向洋發表了題為“從技術突破到產業融合”的演講，分享了他對人工智能“三件套”——算力、算法和數據的最新見解。
沈向洋指出，在技術爆發期，對技術的深刻理解尤為重要。他認為，未來十年，AI的發展可能需要增長100萬倍的算力，遠超摩爾定律預測的100倍增長。英偉達作為AI行業的領軍企業，其影響力已遠遠超出了硬件和芯片供應商的范疇。
根據EPOCH AI的數據，每年最新的大模型對算力的需求都在以驚人的速度增長，年均增長率超過四倍。截至目前，全球已經消耗了超過1000萬張GPU算力卡。沈向洋表示：“英偉達從硬件芯片供應商變成了行業的核心支柱，如今能拿到英偉達的卡，可以說就成功了一半。”
沈向洋透露，英偉達CEO黃仁勛將于次日到香港科技大學接受榮譽博士學位，并計劃與其探討技術、領導力和創業的故事，特別是關于未來十年算力是否還能保持100萬倍的增長。
在算法方面，沈向洋指出，自2017年Transformer架構問世以來，AI和深度學習的發展基本沿著這一方向推進。但GPT-4之后，算法范式出現了新突破，特別是OpenAI推出的新技術，如多模態的GPT-4V和最新的o1推理學習能力，展示了算法創新的新方向。
沈向洋強調，新一代模型如o1引入了強化學習的理念，使模型具備了自我改善的能力。這種新方法更接近人類的思考方式，能夠處理多個領域的問題，包括數據分析、編程、物理和化學等。他預測，未來幾年，沿著Self-Reinforcement Learning（SRL）的道路，算法領域將出現更多令人驚艷的突破。
在數據方面，沈向洋提到，大模型的蓬勃發展不僅依賴于參數規模的增長，還需要海量數據的支持。例如，GPT-3使用了2萬億的token數據，而GPT-4則增加到12T，甚至可能達到20T。他預測，如果GPT-5問世，可能需要200T規模的數據。然而，互聯網上的優質數據已接近極限，因此合成數據成為新的研究方向。
沈向洋介紹了IDEA研究院在合成數據方面的探索，通過語境圖譜技術生成新的語料，解決過往文本數據合成方案的多樣性匱乏問題。實驗結果顯示，該技術能持續為大模型帶來能力提升，表現超過目前的最佳實踐，平均節約成本85.7%。
沈向洋還提到，IDEA研究院致力于AI和數字經濟領域的前沿研究與產業落地，包括低空經濟研究中心、計算機視覺與機器人研究中心等多個研究中心。此次IDEA大會發布了多個領域的新技術和新模型，實現了AI從技術突破到產業融合。
在演講的最后，沈向洋強調了AI對社會發展的深遠影響，并指出AI治理的重要性。他提到，隨著AI的發展，GDP年均增長可能達到十幾個百分點，但這也帶來了諸多社會問題，如經濟最大增長是否能轉化為人類最大福祉等。
沈向洋的演講為參會者提供了對AI未來發展的深刻洞察，并激發了大家對AI技術突破與產業融合的思考。
