整理 | 晉兆雨
出品 | AI科技大本營(ID:rgznai100)
【導讀】7 月 3-4 日,由 CSDN 主辦的第三屆 AI 開發(fā)者大會(AI ProCon 2020)在線上舉行。本次大會有超萬人報名參與,參與人群覆蓋 60+ 領域、5000 家企業(yè)。其中有來自行業(yè)內 70+ 頂尖企業(yè)、開源社區(qū)與科研高校的近 100 位行業(yè)領袖、技術大咖與研究學者。
他們用更新鮮、更有趣、更年輕的方式,聚焦智能時代 AI 技術的發(fā)展曲線以及 AI 與社會各行業(yè)結合的最新應用進展,深入解析熱門 AI 技術在行業(yè)中的實踐與落地經驗,揭示技術與行業(yè)發(fā)展面臨的機遇與挑戰(zhàn)。
在 7 月 4日下午的 「AI開源與生態(tài)建設」論壇上,來自Zilliz、Ludwig、曠視研究院、中興通訊、百度與華為的技術專家針對自身企業(yè)開源的AI平臺帶來了精彩的主題演講,讓大家加深對AI開源平臺的進一步了解。
論壇直播回放地址:
https://live.csdn.net/room/ozuejhrvf/XG6TdLHG
以下內容根據「AI開源與生態(tài)建設」論壇 6 位嘉賓的演講提煉,由 AI科技大本營(ID:rgznai100)整理:
顧鈞:基于Milvus的非結構數據服務平臺
Zilliz合伙人、技術布道師 顧鈞詳細為我們介紹了Zilliz旗下提供非結構數據服務的Milvus平臺的由來、當前的進展和實際應用案例。
現在在數據服務領域,結構化數據類型已經有了較為成熟的解決方法,然而大部分的數據本身都是非機構化的,針對非結構化數據現今還沒有通用的解決方案,因此建立一個統(tǒng)一的非結構數據服務平臺對于數據處理具有重要意義。
顧鈞在演講中通過一個視頻處理的案例為我們介紹了基于flow-based的AI應用,其具有靈活、代碼量少、有眾多參考示例等優(yōu)點。
然而這樣的處理也帶來了新的數據服務的挑戰(zhàn)——數據碎片化。
解決這個問題需要轉換視角,從基于流型的過程轉化為基于傳統(tǒng)層次模型的過程。
雖然現在已經有了大量預處理模型,但是AI技術仍然很難落地的主要原因之一就是數據服務層的成本過高。其中最好的解決方案就是建立統(tǒng)一的非結構數據服務。
統(tǒng)一的非結構數據服務包含了四個方面的內容:基礎的向量搜索的過程、結構化屬性的標簽、支持多模態(tài)、形成融合的打分機制。Milvus已經具備了良好的向量分析的能力,正在努力實現標注屬性信息、多模態(tài)、打分的功能,成為完整的非結構化數據的基礎軟件。
為什么Milvus如此重要?
因為向量數據與數字數據本身存在巨大的差距,數字與向量的計算量和計算方式完全不同,因此向量無法像數字一樣使用高效的二叉樹索引進行快速查詢,多采用聚類索引和圖形索引。
Milvus的服務功能發(fā)展情況:
-
異構計算:已有一定的基礎,融合多種不同的資源
-
數據管理:對向量數據的分片、刪除、動態(tài)更新都能良好的支持
-
向量搜索:吸收和改進業(yè)界主流的算法庫,已經具備了出色的性能
-
應用開發(fā)環(huán)境的支持:諸多應用開發(fā)環(huán)境都能與Milvus適配
Milvus的發(fā)展速度很快,從2018年10月具備初步想法到2020年3月正式加入了LF AI基金會,已經成為了LF AI基金會中開發(fā)最活躍的項目。
Milvus已經有了廣泛的應用,包括wps公文數據的處理和寫作、小米瀏覽器新聞信息的推流、企查查企業(yè)商標圖片的搜索功能、制藥領域加速藥物化合物分子結構的流程等等。
Piero Molino:基于TensorFlow的深度學習實驗工具箱
Ludwig 創(chuàng)始人和維護者,Uber AI前高級研究科學家 Piero Molino為我們介紹了基于TensorFlow的深度學習實驗工具箱。
該實驗工具箱具有通用性、靈活性、可拓展、易理解、使用方便、開放性等多個優(yōu)點。
工具箱的模型訓練過程主要是原始數據、數據預處理、處理數據、魔性訓練四個步驟。
其中在訓練過程中需要保存字段映射、模型超參數和權重等信息。
如何實現預測?在訓練期間獲得的相同場映射會被用于預處理每個數據點和后處理模型的每個預測,以便映射回標簽。
曾平:曠視天元端上優(yōu)化
曠視研究院天元MegEngine異構計算組組長曾平分享了曠視天元在端上的優(yōu)化工作。
端上智能是在端側做AI推理應用,比如美顏拍照。
出于隱私保護、降低時延和流量成本、分擔云上服務器壓力等方面的考慮,端上推理的落地具有很大的實踐價值。
端上應用也面對來自速度、內存、模型大小、引擎大小、功耗等方面對端設備和框架的挑戰(zhàn)。
天元在端上已經完成了整體架構優(yōu)化、底層核心優(yōu)化、性能評測等功能。
天元通過常量折疊、算子融合、冗余算子消除、可達性分析等手段可以達到圖優(yōu)化的目的。
作為端上推理的重要算法,winograd能從理論上加速卷積。
劉濤:Adlik:加速AI應用落地的端到端工具鏈
中興通訊AI平臺高級工程師劉濤介紹,Adlik能夠幫助用戶全套快速完成編譯優(yōu)化、環(huán)境部署運行、遷移等工作,減少AI推理端用戶在多種算法之間學習的成本。
Adlik模型優(yōu)化器的特性:支持多機多卡的剪枝和調優(yōu),先剪枝再加速。小批量的模型數據量化基本沒有損失。
Adlik提供給用戶一整套Serving SDK,支持用戶自定義運行時和指定的AI應用,提供整套的C++ API,用戶可以自定義算法、輕易擴展運行時。
畢然:飛槳(PaddlePaddle)與深度學習實踐課程
百度深度學習平臺部主任架構師、飛槳產品負責人畢然全面介紹了百度飛槳——源于產業(yè)實踐的開源深度學習平臺,同時還分享了一些系統(tǒng)化學習和實踐深度學習技術的課程
人工智能在過去幾十年間有了突飛猛進的發(fā)展,尤其從2010年開始,深度學習技術從學術界走向了工業(yè)界,相關產業(yè)持續(xù)增長,人工智能行業(yè)將成為繼互聯網之后,人類取得巨大突破和產生巨大經濟價值的行業(yè)。
百度飛槳為不僅為用戶提供開源框架,而且為用戶提供深度學習過程中需要的各種類型的模型組件和輔助工具。
百度飛槳具備四大技術優(yōu)勢:
-
開放便捷的深度學習框架,支持動態(tài)圖和靜態(tài)圖
-
超大規(guī)模深度學習模型訓練技術
-
多端多平臺部署的高性能推理引擎
-
產業(yè)級開源模型庫,算法達到146個
百度飛槳在通信、電力、城市管理、民生、工業(yè)、農業(yè)、林業(yè)、公益等多領域廣泛應用。
黃之鵬:MindSpore開源社區(qū)
華為計算開源生態(tài)部副總監(jiān)黃之鵬介紹,MindSpore是華為在今年3月28號開源的全新的深度學習推理和訓練框架,是業(yè)界少有的幾款軟硬件協同設計,強調系統(tǒng)和端角度的學習框架。面向全場景提供統(tǒng)一結構,使開發(fā)者訓練模型更加簡單。
MindSpore的特性之一:基于源碼轉換的自動微分方法,能夠自動構筑反向傳播圖的圖方法,提升性能。
MindSpore的特性之二:混合并行的自動并行,開發(fā)者只要增加一條語句就可以自動實現混合并行。
MindSpore的數據處理:將零散的數據組織成成段的數據,達到高效的數據存儲和處理。
MindSpore——圖執(zhí)行引擎:針對不同的應用場景通過一條語句靈活切換動態(tài)圖和靜態(tài)圖,減去從開發(fā)環(huán)境到生產環(huán)境的轉換工作。
https://live.csdn.net/room/ozuejhrvf/XG6TdLHG