從大數(shù)據(jù)發(fā)展的歷史長河來看，谷歌的“三駕馬車”—— 《GFS》、《MapReduce》和《BigTable》，加上亞馬遜的一篇關(guān)于 Dynamo 系統(tǒng)的論文奠定了大數(shù)據(jù)時(shí)代發(fā)展的基礎(chǔ)。從“大數(shù)據(jù)之父”道格·卡丁創(chuàng)造了 Hadoop 到現(xiàn)在許多廠商開始單獨(dú)造輪子、做開源，大數(shù)據(jù)的發(fā)展首先是獲得了大規(guī)模數(shù)據(jù)的處理能力，然后再解決了數(shù)據(jù)的分析與挖掘問題，到如今又開始解決“如何實(shí)時(shí)查詢數(shù)據(jù)”的問題，從近 20 年的發(fā)展中基本可以看出，這些演進(jìn)的背后都是由企業(yè)需求和業(yè)務(wù)發(fā)展驅(qū)動(dòng)的。
英特爾院士、大數(shù)據(jù)技術(shù)全球 CTO 戴金權(quán)曾提出，未來大數(shù)據(jù)的發(fā)展主要有三大方向：大數(shù)據(jù)平臺(tái)云原生化；湖倉一體；大數(shù)據(jù)與人工智能重塑數(shù)據(jù)價(jià)值，本文將對三大方向逐一展開解讀。
1 大數(shù)據(jù)平臺(tái)云原生化是必然趨勢
眾所周知，大數(shù)據(jù)系統(tǒng)是一個(gè)復(fù)雜性很高的系統(tǒng)，傳統(tǒng)的大數(shù)據(jù)系統(tǒng)運(yùn)維成本很高，比如處理資源分配、進(jìn)行容錯(cuò)等這些工作其實(shí)并不能對終端業(yè)務(wù)產(chǎn)生直接價(jià)值。然而，如今的大多企業(yè)都面臨著日益增長的數(shù)據(jù)量、各種類型數(shù)據(jù)的實(shí)時(shí)化和智能化處理的需求，企業(yè)亟需降低運(yùn)維成本，并希望能夠通過對數(shù)據(jù)的挖掘產(chǎn)生支撐業(yè)務(wù)側(cè)的洞見與預(yù)測！
于是，云原生大數(shù)據(jù)平臺(tái)因?yàn)槠涓邚椥詳U(kuò)展、多租戶資源管理、海量存儲(chǔ)、異構(gòu)數(shù)據(jù)類型處理及低成本計(jì)算分析的特點(diǎn)，受到了企業(yè)的歡迎，這也是大數(shù)據(jù)系統(tǒng)的必然發(fā)展趨勢，將大數(shù)據(jù)運(yùn)行在云上，以云服務(wù)的形式提供給用戶，能大大提高企業(yè)服務(wù)化能力，用戶可以直接在云上進(jìn)行價(jià)值挖掘。而且，當(dāng)廠商通過云服務(wù)提供大數(shù)據(jù)技術(shù)后，很多新能力也變得很透明，企業(yè)無需經(jīng)過摸索和集成，就可以將自己的服務(wù)無縫提供給用戶。
但另外一方面，云原生大數(shù)據(jù)也有非常多的技術(shù)挑戰(zhàn)。許多大數(shù)據(jù)系統(tǒng)最初并不是為云原生架構(gòu)而設(shè)計(jì)的，比如開發(fā)者在做數(shù)據(jù)的 Shuffle 時(shí)，思考的是如何利用本地 IO 能力來提高效率。
企業(yè)為了能夠讓業(yè)務(wù)更好地運(yùn)行在云的體系架構(gòu)之上，當(dāng)前一般采用的都是架構(gòu)層的解決方案，融合了高性能計(jì)算（HPC）強(qiáng)大算力和云服務(wù)安全性、易用性的云原生超級計(jì)算似乎是當(dāng)前最佳的有效方案。但事實(shí)上，軟件層的升級多少還是會(huì)受硬件層的影響。所以，不如換個(gè)方向，思考一下如何利用硬件能力來提高數(shù)據(jù)處理效率。
廠商在硬件層提升性能的方式往往是，通過使用服務(wù)器來響應(yīng)對高性能計(jì)算 (HPC) 集群的需求，通過對 CPU 升級來處理更大規(guī)模的高性能計(jì)算 (HPC) 應(yīng)用。像英特爾® 至強(qiáng)® 可擴(kuò)展處理器提供業(yè)界領(lǐng)先、經(jīng)工作負(fù)載優(yōu)化的性能，具有內(nèi)置人工智能加速功能，可提供無縫性能基礎(chǔ)，就是許多企業(yè)的選擇。
應(yīng)對業(yè)務(wù)側(cè)日益增長的需求和不斷演變的數(shù)據(jù)服務(wù)模式，企業(yè)可利用英特爾® 至強(qiáng)® 可擴(kuò)展處理器上集成的英特爾® 高級矢量擴(kuò)展 512（英特爾® AVX-512）來繼續(xù)進(jìn)行工作負(fù)載優(yōu)化創(chuàng)新。英特爾® 高級矢量擴(kuò)展 512（英特爾® AVX-512）是一組指令集，可以加速工作負(fù)載和用例的性能，如科學(xué)模擬、金融分析、人工智能 (AI) / 深度學(xué)習(xí)、3D 建模和分析、圖像和音頻 / 視頻處理、密碼學(xué)和數(shù)據(jù)壓縮等。英特爾® AVX-512 可以處理苛刻的計(jì)算任務(wù)，借助兩個(gè) 512 位融合乘加 (FMA) 單元，應(yīng)用程序在 512 位矢量內(nèi)的每個(gè)時(shí)鐘周期每秒可打包 32 次雙精度和 64 次單精度浮點(diǎn)運(yùn)算，以及八個(gè) 64 位和十六個(gè) 32 位整數(shù)，大大地提高了數(shù)據(jù)處理效率。
2 “湖倉一體”是解決實(shí)時(shí)性數(shù)據(jù)問題的新興架構(gòu)
隨著人工智能等技術(shù)的興起，數(shù)據(jù)規(guī)模越來越大，存儲(chǔ)的數(shù)據(jù)類型也越來越豐富，與文字相比，體積更大空間的圖片、聲音和視頻存儲(chǔ)需求爆發(fā)。面對這些海量數(shù)據(jù)治理需求，數(shù)據(jù)倉庫、數(shù)據(jù)湖架構(gòu)被企業(yè)廣泛應(yīng)用。
當(dāng)前許多人認(rèn)為，面向領(lǐng)域主題的、集成的、穩(wěn)定的、能夠反映歷史數(shù)據(jù)變化的數(shù)據(jù)倉庫，已經(jīng)滿足不了 人工智能、機(jī)器學(xué)習(xí)技術(shù)的數(shù)據(jù)需求，開始逐漸走下坡路，數(shù)據(jù)治理架構(gòu)正在逐漸從數(shù)據(jù)倉庫跨越到數(shù)據(jù)湖。他們認(rèn)為，數(shù)據(jù)湖是多結(jié)構(gòu)數(shù)據(jù)的系統(tǒng)或存儲(chǔ)庫，以原始格式和模式存儲(chǔ)，通常作為對象“blob”或文件存儲(chǔ)，可以更好地解決企業(yè)數(shù)據(jù)需求，甚至有人認(rèn)為數(shù)據(jù)湖就是下一代數(shù)據(jù)倉庫。
事實(shí)上，大多數(shù)企業(yè)目前至少有一個(gè)或者多個(gè)數(shù)據(jù)倉庫服務(wù)于各種下游應(yīng)用程序，而且把所有的原始數(shù)據(jù)都放到數(shù)據(jù)湖，可能會(huì)提升數(shù)據(jù)的使用難度，對于企業(yè)數(shù)據(jù)治理來說也不是一個(gè)小的挑戰(zhàn)；此外，從實(shí)時(shí)性方面，數(shù)據(jù)湖也做不到真正的實(shí)時(shí)。
然而，企業(yè)數(shù)據(jù)的使用場景如今已然發(fā)生巨大變化，需求從離線場景轉(zhuǎn)變到實(shí)時(shí)數(shù)據(jù)分析場景。數(shù)據(jù)規(guī)模發(fā)展到一定程度后，離線數(shù)據(jù)的缺點(diǎn)就會(huì)愈發(fā)凸顯，企業(yè)對于實(shí)時(shí)數(shù)據(jù)治理有了更高的要求，希望從業(yè)務(wù)端獲取到數(shù)據(jù)后，能夠立即被清洗處理，從而滿足基于數(shù)據(jù)的挖掘、預(yù)測和分析。
所以“湖倉一體”作為一種新興架構(gòu)，結(jié)合了數(shù)據(jù)倉庫與數(shù)據(jù)湖的優(yōu)點(diǎn)，在類似數(shù)據(jù)湖的低成本存儲(chǔ)上，實(shí)現(xiàn)了與數(shù)據(jù)倉庫中類似的數(shù)據(jù)結(jié)構(gòu)和數(shù)據(jù)管理功能，在擴(kuò)展性、事務(wù)性以及靈活度上都體現(xiàn)出了獨(dú)有的優(yōu)勢，是解決目前企業(yè)數(shù)據(jù)治理需求的更優(yōu)解。
火山引擎與英特爾在云原生大數(shù)據(jù)領(lǐng)域深入合作，從用戶云業(yè)務(wù)需求出發(fā)提升數(shù)據(jù)價(jià)值。從湖倉一體方面，英特爾技術(shù)團(tuán)隊(duì)和火山引擎技術(shù)團(tuán)隊(duì)聯(lián)合對 ClickHouse 軟件進(jìn)行優(yōu)化，通過對硬件指令等其他的優(yōu)化，使 ClickHouse 核心代碼的性能有了 1.5 倍以上的提升，ClickHouse（Repartition-Block shuffle）性能加速 4.2 倍。
英特爾和火山引擎 ByteHouse 的合作優(yōu)化
總體而言，湖倉一體是一種更開放的新型架構(gòu)，有人做了一個(gè)比喻，“這種操作方式類似于在湖邊搭建了很多小房子，有的負(fù)責(zé)數(shù)據(jù)分析，有的運(yùn)轉(zhuǎn)機(jī)器學(xué)習(xí)，有的來檢索音視頻等，至于那些數(shù)據(jù)源流，都可以從數(shù)據(jù)湖里輕松獲取。”
Gartner 也發(fā)布了湖倉一體的未來應(yīng)用場景預(yù)測，“湖倉一體架構(gòu)需要支持三類實(shí)時(shí)場景，第一類是實(shí)時(shí)持續(xù)智能；第二類是實(shí)時(shí)按需智能；第三類是離線按需智能。這三類場景將可以通過快照視圖、實(shí)時(shí)視圖以及實(shí)時(shí)批視圖提供給數(shù)據(jù)消費(fèi)者，這同樣是未來湖倉一體架構(gòu)需要持續(xù)演進(jìn)的方向。”
3 “AI 與大數(shù)據(jù)一體化”重塑數(shù)據(jù)價(jià)值
如今各行各業(yè)都在探索怎樣讓 AI 在實(shí)際應(yīng)用中提高工作效率或者體驗(yàn)，但有數(shù)據(jù)表明，85% 以上的人工智能項(xiàng)目都是以失敗而告終的，并沒有真正地得到交付。歸其原因是，實(shí)驗(yàn)室中正在跑的人工智能模型、算法和真正落地到生產(chǎn)環(huán)境或業(yè)務(wù)場景中的東西要求是不一樣的。這意味著，企業(yè)想真正地將算法、AI 模型運(yùn)用到生產(chǎn)系統(tǒng)中，需要經(jīng)過非常復(fù)雜的 AB 測試，但將 AI 模型算法和真實(shí)的業(yè)務(wù)數(shù)據(jù)流水線相結(jié)合是一個(gè)非常大的挑戰(zhàn)。
回想一下，在構(gòu)建一些 AI 架構(gòu)時(shí)，大家通常的做法是利用一個(gè)大數(shù)據(jù)處理平臺(tái)，然后對數(shù)據(jù)進(jìn)行處理，處理完后再將數(shù)據(jù)拷貝到另外一個(gè) AI 集群或是深度學(xué)習(xí)的集群中進(jìn)行訓(xùn)練。顯而易見，數(shù)據(jù)拷貝的過程會(huì)產(chǎn)生一定的時(shí)間成本和移植成本，解決了這個(gè)問題，可以大大提高企業(yè)研發(fā)效率，快速實(shí)現(xiàn)降本增效。
將大數(shù)據(jù)分析與 AI 平臺(tái)融為一體的模式成為了企業(yè)解決以上問題的方案，其也正在成為一種行業(yè)的新趨勢。構(gòu)建一個(gè)端到端的大數(shù)據(jù) AI 的流水線，將大數(shù)據(jù) +AI 的流程從數(shù)據(jù)的獲得、讀取、數(shù)據(jù)的處理到特征的處理、建模、訓(xùn)練、部署、推理等流水線都統(tǒng)一起來，是實(shí)現(xiàn) AI 真正落地的關(guān)鍵點(diǎn)。
為了支撐大數(shù)據(jù)的處理，英特爾在“AI+ 大數(shù)據(jù)”方面做的第一件事情就是構(gòu)建統(tǒng)一的大數(shù)據(jù) AI 平臺(tái)、集群——英特爾 BigDL ，其是用于 Spark 的分布式深度學(xué)習(xí)庫，可以直接在現(xiàn)有 Spark 或 Apache Hadoop 集群之上運(yùn)行，并可以將深度學(xué)習(xí)應(yīng)用程序編寫為 Scala 或 Python/ target=_blank class=infotextkey>Python 程序。
作為底層計(jì)算平臺(tái)，英特爾 BigDL 針對分布式的英特爾® 至強(qiáng)® 處理器 CPU 集群進(jìn)行了大數(shù)據(jù) AI 平臺(tái)的構(gòu)建，包括在硬件上的眾多優(yōu)化，包括 CPU 本身對 AI 的支持。雖然英特爾® 至強(qiáng)® 處理器是一個(gè)通用處理器，但它提供了非常多的硬件指令及針對 AI 優(yōu)化和加速的硬件支持，包括在低精度 INT8 上的 AVX512_VNNI , 以提升 DL 性能。其主要具有以下特點(diǎn)：
- 豐富的深度學(xué)習(xí)支持：基于 Torch BigDL 為深度學(xué)習(xí)提供全面支持，包括數(shù)值計(jì)算（通過 Tensor 和高級神經(jīng)網(wǎng)絡(luò)）；此外，可以將預(yù)訓(xùn)練的 Caffe * 或 Torch 模型加載到 Spark 框架中，然后使用 BigDL 庫運(yùn)行推理應(yīng)用他們的數(shù)據(jù)。
-
高效的橫向擴(kuò)展：BigDL 可以通過使用 Spark 以及同步隨機(jī)梯度下降 (SGD) 和 Spark 中的 all-reduce 通信的有效實(shí)現(xiàn)，有效地向外擴(kuò)展以執(zhí)行“大數(shù)據(jù)規(guī)模”的數(shù)據(jù)分析。
-
極高的性能：BigDL 在每個(gè) Spark 任務(wù)中使用英特爾® 數(shù)學(xué)核心函數(shù)庫（英特爾® MKL）和多線程編程，BigDL 和英特爾® MKL 專為英特爾® 至強(qiáng)® 處理器設(shè)計(jì)和優(yōu)化，可提供極高的性能。
萬事達(dá)卡在企業(yè)的數(shù)據(jù)倉庫建構(gòu)在分布式大數(shù)據(jù)平臺(tái)之上，便是直接用英特爾 BigDL 來構(gòu)建 AI 應(yīng)用，將大數(shù)據(jù)的數(shù)據(jù)處理與人工智能的處理直接統(tǒng)一起來，幫助平臺(tái)支撐超過 20 億的用戶。平臺(tái)上的幾千億的交易數(shù)據(jù)訓(xùn)練了非常多的 AI 模型，其中最大的模型在一個(gè)任務(wù)運(yùn)行在 500 臺(tái)以上的英特爾服務(wù)器上進(jìn)行大規(guī)模分布式訓(xùn)練，差不多在 5 小時(shí)之內(nèi)訓(xùn)練出一個(gè)大規(guī)模的 AI 模型，提高各種 AI 能力，實(shí)現(xiàn)了超大規(guī)模用戶量的支撐。
4 寫在最后
經(jīng)過近 20 年的發(fā)展，大數(shù)據(jù)的技術(shù)棧逐漸成熟，“大數(shù)據(jù)”如今幾乎已經(jīng)是程序員技術(shù)棧的標(biāo)配，基本上大多數(shù)應(yīng)用環(huán)境都會(huì)牽扯到數(shù)據(jù)治理、數(shù)據(jù)處理。
近年來，云計(jì)算、人工智能等技術(shù)的發(fā)展，還有底層芯片和內(nèi)存端的變化以及視頻等應(yīng)用的普及，都給大數(shù)據(jù)技術(shù)帶來了新的要求。不管是應(yīng)用基于數(shù)據(jù)還是要用數(shù)據(jù)改善應(yīng)用，怎樣能夠把整個(gè)技術(shù)平臺(tái)和軟件平臺(tái)做得更加易用，這對于廠商來說是亟待解決的難題。此外，人工智能、大數(shù)據(jù)技術(shù)的應(yīng)用場景都非常廣泛，但在具體應(yīng)用開發(fā)的技術(shù)實(shí)現(xiàn)上還有很多缺陷，如何實(shí)現(xiàn)技術(shù)突破和技術(shù)創(chuàng)新，這是所有人都面臨的難點(diǎn)。
我們可以預(yù)測到的是，未來的大數(shù)據(jù)技術(shù)會(huì)沿著異構(gòu)計(jì)算、云化，AI 融合、內(nèi)存計(jì)算等方向持續(xù)更迭，目前我們看到的這些難點(diǎn)應(yīng)該都會(huì)被逐一解決，但當(dāng)我們在進(jìn)行算法、架構(gòu)優(yōu)化時(shí)，也要記得硬件是實(shí)現(xiàn)所有技術(shù)演進(jìn)升級的基本盤。當(dāng)在軟件層找不到解決方案的時(shí)候，也可以嘗試把目光放到硬件層。
大數(shù)據(jù)到底是什么？又該如何用它為我們服務(wù)？業(yè)界前沿技術(shù)有哪些？點(diǎn)擊下方與英特爾院士戴金權(quán)深度對話，了解在 AI 時(shí)代重新解構(gòu)大數(shù)據(jù)的概念、平臺(tái)和價(jià)值。
