今年的ICML（機器學習國際會議）要來了！
北京時間7月19日，由百度主辦的ICML 2021 Expo也將正式召開，這也是本次由國內企業申請主辦的唯一一個Expo。
在本次Expo上，來自百度的科研人員將介紹百度基于飛槳在計算機視覺、自然語言處理、語音、量子計算等多個技術領域的最新進展和產業實踐積累，包含十個主題演講。
百度飛槳亮相ICML 展現多面AI技術實力
ICML（機器學習國際會議）作為國際機器學習學會（IMLS）主辦的年度機器學習國際頂級會議，是國際機器學習領域探討前沿科技成果和技術實踐應用的重要舞臺。
此次百度舉辦的Expo將從多個角度、全面展示飛槳在深度學習領域強大的技術優勢和深厚的產業實踐積累。
飛槳（PaddlePaddle）作為我國首個自主研發、功能豐富、開源開放的產業級深度學習平臺，目前已經凝聚了320萬開發者、服務企事業單位12萬家，涵蓋工業、能源、金融、醫療、農業、城市管理等多個領域。
不久前，飛槳開源框架正式升級到2.1版本，對自動混合精度、動態圖、高層API等進行了優化，在模型套件方面文心ERNIE全新開源發布四大預訓練模型，部署和硬件生態方面也持續拓展。
十大主題演講干貨十足 期待碰撞技術火花
技術的發展離不開研究者潛心鉆研，更需要相互交流碰撞靈感火花。本次百度舉辦的ICML 2021 Expo包含十個主題演講，期待與全球AI頂尖人才展開廣泛交流與學習，分享和探討百度飛槳最新技術成果與應用心得。
以下為主題演講介紹：
PaddleCV: Rich and Practical CV Models from Industrial Practice
主題一：PaddleCV：工業實踐中豐富實用的CV模型
為了滿足企業低成本開發和快速集成的需求，飛槳重點建設了大規模的官方模型庫，包含經過產業實踐長期打磨的主流模型以及在國際競賽中的奪冠模型。百度資深算法工程師將為大家帶來飛槳視覺模型庫PaddleCV的技術分享。PaddleCV作為飛槳重點研發的視覺模型庫，為開發者提供了面向圖像分類（PaddleClas）、目標檢測（PaddleDetection）、圖像分割（PaddleSeg）、文本識別（PaddleOCR）、圖像生成（PaddleGAN）等視覺場景的多種端到端開發套件和海量視覺方向模型，其中PaddleOCR和PaddleDetection開發套件更是被眾多企業廣泛使用。飛槳開發套件圍繞企業實際研發流程量身打造，服務企業遍布能源、金融、工業、農業等眾多領域。
GP-NAS: Gaussian Process based Neural Architecture Search
主題二：GP-NAS:基于高斯過程的模型結構自動搜索技術
通過對深度神經網絡進行模型結構自動搜索，NAS（Neural Architecture Search）在各類計算機視覺的任務中都超越了人工設計模型結構的性能。GP-NAS旨在解決NAS中的三個重要問題：如何衡量模型結構與其性能之間的相關性？如何評估不同模型結構之間的相關性？如何用少量樣本學習這些相關性？
為此，GP-NAS首先從貝葉斯視角來對這些相關性進行建模。通過引入一種基于高斯過程的NAS新方法，并通過定制化的核函數和均值函數對相關性進行建模。并且，均值函數和核函數都可以在線學習，以實現針對不同搜索空間中的復雜相關性的自適應建模。此外，通過結合基于互信息的采樣方法，可以通過最少的采樣次數就能估計/學習出GP-NAS的均值函數和核函數。在學習得到均值函數和核函數之后，GP-NAS就可以預測出不同場景，不同平臺下任意模型結構的性能，并且從理論上得到這些性能的置信度。
GP-NAS不僅在CIFAR10和ImageNet等分類任務上取得了SOTA的實驗結果，在人臉識別任務上同樣取得了非常好的結果。本次分享還會介紹搜索空間的設計以及超網絡的一致性問題，并介紹GP-NAS多次在國際比賽中奪冠的經歷。
Multimodal-based 3D Object Detection
主題三：基于多模態的三維目標檢測
精準的估計周圍物體的三維位置對于自動駕駛系統非常重要。為了確保自動駕駛系統的安全性，無人駕駛汽車通常利用多種傳感器（如相機、Lidar等）來感知周圍的環境，在此次演講中，百度分別介紹了基于不同傳感器的三維物體檢測算法。
首先介紹了利用CAD模型和CAD模型free的兩種不同的基于單幀圖像的三維物體位置估計算法。相機成本低廉， 可以提供詳細的紋理與顏色信息，實驗表明對于距離較近的物體檢測效果明顯。
相比基于相機的估計算法，基于Lidar的三維物體檢測算法效果顯著提升。對于如何提升稀有類別的檢測效果，始終是一個開放的研究問題。隨后介紹了一種簡單有效的基于Rendering的三維物體增強策略，能有效地考慮不同前景物體之間、以及前景與背景物體之間的遮擋關系。在公開數據集上的測試效果表明此算法對于所有類別的檢測效果都有提升，尤其對于稀有類別的檢測結果提升尤為顯著。
最后，介紹了一種簡單有效的基于2D/3D場景分割的多模型融合框架，同時挖掘圖像和點云的優勢，能有效地提升三維物體的檢測結果。此前， 該算法的升級版在ICRA2021 nuScenes三維物體檢測公開賽上獲得冠軍。目前PaddlePadlle框架支持通用三維點云理解，包含基于點云的三維物體檢測、分割以及基于單幀圖像的三維物體位置估計等，將來會開源更多的基于點云的三維深度模型。
PaddleSeg: A High-Efficient Development Toolkit for Image Segmentation
主題四：高效圖像分割工具——PaddleSeg
語義分割是非常重要并極具挑戰的視覺任務，在人機交互、增強現實和無人駕駛領域有著重要的應用價值。本次演講將介紹一個基于飛槳的語義分割算法平臺PaddleSeg，它提供了許多經典的語義分割算法（FCN、DeepLab、PSPNet等）的實現。同時，演講也會介紹百度最近基于PaddleSeg研發的一些新的語義分割算法。
Interpretable Deep Learning: Interpretation, Interpretability, Trustworthiness, and Beyond
主題五：可解釋的深度學習——解釋性、可解釋性、可信賴性和超越性
深度學習模型目前已經在許多領域——比如計算機視覺、自然語言處理、生物、醫療等達到甚至超過了人類的水平。然而，深度學習模型一直被當做黑盒使用，其決策過程和判斷標準始終讓人難以理解。
基于目前主流的可解釋性算法，在本次演講中將系統地介紹深度學習模型的可解釋性，包括可解釋性的重要性、可解釋性算法的分類以及如何評測這些算法的可靠性。百度開源了基于飛槳的可解釋性算法代碼庫InterpretDL，集成了十數種可解釋性算法，其中也包含了百度關于可解釋性的最新研究工作，并將對其中的兩項工作進行詳細的介紹。百度的開源庫InterpretDL全面解耦了算法與模型，并提供詳盡的教程，方便易用，同時滿足學術界和工業界的需求。
Paddle Graph Learning and Its Applications
主題六：飛槳圖神經網絡框架PGL及其應用
在本次演講中，百度將會介紹高效易用的大規模圖神經網絡框架飛槳PGL。圖神經網絡最大的特點是能夠建模樣本與樣本的連接信息，但是編碼樣本之間的關系，在原生的深度學習框架中一般都比較復雜。飛槳PGL采用消息傳遞范式作為圖神經網絡的編程接口，使得圖神經網絡的編寫變得十分便利；并且針對圖神經網絡場景做了大量的性能優化，包括提出并行消息聚合、多卡并行FullBatch訓練等技術，大大提升了圖神經網絡的工業實用性。
本演講將展示飛槳PGL在圖神經網絡的研究上面取得的進展，并且分享具體案例，介紹如何通過萬億規模圖引擎以及參數服務器的整合，落地工業級圖神經網絡應用。
Unified Modal Learning: Motivation, Practice and Beyond
主題七：統一模式學習——動機、實踐與超越
現有的預訓練技術關注于分開解決單模態任務或者多模態任務，忽視了使用一個統一的預訓練模型同時解決單模、多模問題帶來的好處以及對應的挑戰。反觀人類則非常擅長從多源異構數據中聯合學習，從而更好地理解物理世界的相關概念。
基于此，百度提出統一模態學習，目標是從大規模圖像、文字、圖文對等數據中聯合學習，并具備同時解決單模態任務和多模態任務的能力。基于飛槳，百度提出了一個統一模態學習框架UNIMO，并在多個自然語言處理和視覺-語言多模態任務上取得了領先成績。百度希望統一模態學習，能夠提供一條通向通用人工智能的可能思路，并且借助社區的力量共同建設。
FedCube: Federated Learning and Data Federation for Collaborative Data Processing
主題八：FedCube——用于協作數據處理的聯邦學習和數據聯合
近年來，數據和計算資源通常分布在用戶終端、各個地區或組織的設備中。由于法律或法規的限制，分布式數據和計算資源不能在不同地區或組織之間直接聚合或共享，用于數據處理或機器學習任務。聯邦學習和數據聯邦在遵守法律法規、確保數據安全和數據隱私的前提下，有效利用分布式數據和計算資源，訓練機器學習模型和協同處理數據。
在本次演講中，百度展示包括PaddleFL在內的聯邦學習系統的功能架構，并介紹了基于百度聯邦學習系統的研究工作。
Generalizing from a Few Examples by PaddleFSL
主題九：基于飛槳的小樣本學習工具庫PaddleFSL
人工智能領域欣欣向榮，但現有技術通常需要大量標注數據和高算力的高性能計算設備支撐。與之對比，人類卻可以利用已學習的知識，快速從幾個示例中學到規則，這使得現在的人工智能距離“像人”還有較大距離。小樣本學習（FSL）研究如何快速泛化到僅包含幾個標注數據的新任務，是縮小人工智能和人類學習之間差距的重要一環。
此外，FSL使對罕見情況的學習成為可能，例如在藥物發現中給定一些標記分子來預測新的分子特性。鑒于高質量的標記數據獲取成本高，FSL的應用還有助于降低工業應用中收集大規模監督數據的收集、標注、處理和計算消耗。
在本次演講中，百度將介紹基于飛槳的FSL工具包PaddleFSL。它包含了很多簡單易用的FSL方法，支持圖像分類、關系抽取等常見應用，同時易于擴展到新應用。百度希望PaddleFSL可以助力學術界和工業界的研究和開發者在各種場景下輕松探索FSL。
Paddle Quantum: Towards Quantum Artificial Intelligence
主題十：量槳——邁向量子人工智能
人工智能是新一輪產業變革的重要驅動，量子計算則是備受矚目的前沿技術，二者的融合孕育出新的方向：量子人工智能，該演講則帶來了百度在該方向的最新進展。基于深度學習平臺飛槳，百度研發了國內首個量子機器學習工具集“量槳”，旨在加速人工智能與量子計算的融合創新。
近期量槳發布2.1版本，運行效率平均提升20%，通過量子神經網絡、量子核方法、含噪量子電路等模塊，開發者們可以在量槳上便捷地進行人工智能、組合優化、量子化學方面的應用研發。借助深度學習對量子技術的賦能，量槳LOCCNet發現了新的糾纏提純方案，相比業界現有方案取得了更好效果。此外，量槳官網qml.baidu.com提供了豐富教程與案例，助力開發者入門與研發。百度量子平臺以量脈、量槳、量易伏為主體，旨在將用戶和量子服務緊密結合，賦能教育、科學研究、工業生產等領域，構建開放、可持續的百度量子生態，最終實現“人人皆可量子”的美好愿景。
