【數(shù)據(jù)猿導讀】 硅谷著名投資機構Firstmark近期發(fā)布了2016年的大數(shù)據(jù)行業(yè)地形圖，展現(xiàn)了如今大數(shù)據(jù)廠商的分布。巨杉CTO王濤從地形圖出發(fā)對于大數(shù)據(jù)的發(fā)展也有著自己的見解，他認為，想做好企業(yè)大數(shù)據(jù)，其實并不容易
在新興事物收到追捧的科技創(chuàng)新行業(yè)中，“大數(shù)據(jù)”目前正在走向理性與成熟。隨著2006年Hadoop的成立, 在2011年到2014年間人們對“大數(shù)據(jù)”這一概念的興趣達到了狂熱的地步，凡是必提“大數(shù)據(jù)”。而進入2015年，隨著大數(shù)據(jù)真正的開始廣泛落地應用在各個領域，大數(shù)據(jù)這個詞似乎變得非常常見，也開始為大家所接受。同時，2015年以來“大數(shù)據(jù)世界”里的“熱血青年”們轉而癡迷于VR、AI這些“更新”的領域，大數(shù)據(jù)行業(yè)也開始趨于冷靜，走向成熟。
硅谷著名投資機構Firstmark近期發(fā)布了2016年的大數(shù)據(jù)行業(yè)地形圖(Bigdata Landscape 2016)。展現(xiàn)了如今大數(shù)據(jù)廠商的分布。而SequoiaDB也有幸作為進入地形圖的唯一中國企業(yè)，我們就來跟大家看看這個大數(shù)據(jù)地形圖：
企業(yè)大數(shù)據(jù)---做好并不容易
關于大數(shù)據(jù)，有趣的是，它帶給我們的很有可能并不像最初炒作時說的那種體驗。
在科技界受到廣泛關注的產(chǎn)品和服務，往往是那些人們可以觸摸、感覺或涉及得到的，如：手機應用、社交網(wǎng)絡、可穿戴設備、虛擬現(xiàn)實等。然而，針對大數(shù)據(jù)，從根本上說，它是屬于探索型的。當然，大數(shù)據(jù)影響著很多消費者或企業(yè)的用戶體驗。但大數(shù)據(jù)的核心還是企業(yè)技術，它背后涉及到的數(shù)據(jù)庫、分析等等并沒有幾個人會看到。大數(shù)據(jù)同樣是這樣：企業(yè)是不可能在一夜之間將一項新技術真正運用起來的。
巨杉CTO王濤
現(xiàn)在我們正面臨著一個更大也更棘手的機會：采用大數(shù)據(jù)技術的企業(yè)范圍更為廣泛了，這涵蓋了從中型企業(yè)到大型的跨國企業(yè)，這些企業(yè)在大數(shù)據(jù)應用過程中走了許多彎路：絕大多數(shù)這類公司，現(xiàn)有的技術基礎設施都“能夠湊效”，因此就認為可以通過“自身升級”同時引進一些開源的新技術就可以實現(xiàn)。結果最后不僅搭建起來技術上有眾多“水土不服”，同時更多是現(xiàn)有技術實力不足以支撐大數(shù)據(jù)新業(yè)務的需求。
另一個要去理解的關鍵點是：大數(shù)據(jù)的成功不是去實現(xiàn)一項技術(像Hadoop或者其他公司)，而是要求把技術、人員和流程組合成一條組裝線。你要做到的是獲得數(shù)據(jù)，存儲數(shù)據(jù)，清理數(shù)據(jù)，查詢數(shù)據(jù)，分析數(shù)據(jù)，可視化數(shù)據(jù)。這里面有些是由產(chǎn)品本身去完成的，有些則依靠我們人類自身。并且，這一切都需要被無縫整合。最后，要使得它能夠運作起來，整個公司從高級管理層開始，需要致力于構建一個數(shù)據(jù)驅動的文化，因為大數(shù)據(jù)不是“一件”事情，而是“一整件”事情。
還有最重要的一點，那就是企業(yè)級大數(shù)據(jù)領域，很難完全靠開源產(chǎn)品打遍天下的。任何大型的開源項目背后一定會有原廠的商業(yè)廠商提供原生的技術支持甚至是企業(yè)級的產(chǎn)品。比如Spark背后是Databricks，Hadoop背后就是“三駕馬車”Cloudera、Hortonworks和Pivotal。因此，企業(yè)不應該只看到“開源大數(shù)據(jù)技術”就認為“我可以拿過來用了”，這是對于大數(shù)據(jù)最大的誤區(qū)之一。
所以我認為，只有最優(yōu)秀的大數(shù)據(jù)產(chǎn)品加上原廠的專業(yè)的技術支持，才是真正推動大數(shù)據(jù)快速落地的根本。
大數(shù)據(jù)的基礎架構----創(chuàng)新仍在繼續(xù)
自谷歌發(fā)表那篇關于MapReduce和BigTable的文章引領Doug Cutting和Mike Cafarella創(chuàng)建Hadoop到現(xiàn)在已經(jīng)過去十年了，因此大數(shù)據(jù)的基礎設施層已經(jīng)獲得足夠多的時間去發(fā)展成熟并解決一些關鍵的問題了。然而，由于因為大量的開源活動的進行，大數(shù)據(jù)基礎架構仍在繼續(xù)蓬勃發(fā)展。
一方面Spark在這一年發(fā)展迅猛，作為利用內存進行處理的開源框架，在我們發(fā)表舊版本藍圖時就開始引起眾多的議論。此后，Spark受到了從IBM到Cloudera等各種玩家的歡迎，并取得了相當大的認可度。Spark的意義在于它有效地解決了關于讓Hadoop有所延緩的一些關鍵問題：它運行快了很多，更容易編寫程序，良好的機器學習適用性。
另一邊，在數(shù)據(jù)庫領域里，NoSQL與NewSQL正在不斷融合。NoSQL數(shù)據(jù)庫們紛紛開始支持SQL，而PostgreSQL、MySQL甚至Oracle都開始支持JSON格式存儲。因此，數(shù)據(jù)庫領域目前“分布式”、“SQL支持”以及“多類型存儲”這幾點成為了數(shù)據(jù)庫的最新的必備項。此外，新興的參與者比市場以容納的量似乎出現(xiàn)的更多，同時有很多令人興奮的事情在發(fā)生:從圖形數(shù)據(jù)庫的成熟、專業(yè)數(shù)據(jù)庫的興起再到另外，數(shù)據(jù)倉庫也同樣在不斷發(fā)展發(fā)展。
大數(shù)據(jù)分析---AI與大數(shù)據(jù)分析結合
在過去的幾個月里，大數(shù)據(jù)分析的最主要趨勢，是與AI人工智能的結合上。AI與大數(shù)據(jù)分析的結合，這有利于幫助大量數(shù)據(jù)的分析，從而得出預測的結論。AI 真正幫助人們實現(xiàn)了最初預想的“大數(shù)據(jù)的功能”，AI和機器學習在數(shù)據(jù)分析領域就代表了大數(shù)據(jù)下一步進化的方向。近期的AlphaGo的成功，就是AI與大數(shù)據(jù)有機結合的最好體現(xiàn)。
同時，對于大數(shù)據(jù)BI領域，AI的出現(xiàn)也大大提高了BI智能化的腳步。不斷成熟的AI，可以幫助人們處理數(shù)據(jù)，計算公式，最終統(tǒng)計和分析出一些特定的適合的模型，這就做到了之前的數(shù)據(jù)科學家(Data scientists)在建模中的許多工作。
大數(shù)據(jù)應用---加速落地
既然一些核心基礎架構的挑戰(zhàn)已然突破，應用層的大數(shù)據(jù)也隨之正在迅速建立起來。
值得一提的是大數(shù)據(jù)應用兩大趨勢：
首先，會有許多許多 “大數(shù)據(jù)原生”應用程序，他們由自己最新的大數(shù)據(jù)技術建成，并代表了一個有趣的，為客戶提供利用大數(shù)據(jù)而無需自行部署底層大數(shù)據(jù)技術的方式。
其次，人工智能在應用程序層面上也體現(xiàn)出了強大的表現(xiàn)。在許多依賴于AI的大數(shù)據(jù)應用中，AI的自動化程度已經(jīng)接近于100%，甚至于很多場景下大大超過了人工操作的效率和準確性。
大數(shù)據(jù)市場----不斷成熟
對于大數(shù)據(jù)的生態(tài)，我們可以從資本市場就可以很好的判斷整個市場和生態(tài)的情況。第一波的大數(shù)據(jù)技術公司，基本都在2009~2013年成立，而至2015年以來，大多都經(jīng)歷了多輪的投融資，也在技術產(chǎn)品和業(yè)務方向上趨于穩(wěn)定。整個2015年，大數(shù)據(jù)領域的VC投資額度為 66.4億美金，占到了整個科技界投資的11%以上，這足以說明問題。另一方面，用戶側對于大數(shù)據(jù)的需求不斷增加。根據(jù)IDC的調查數(shù)據(jù)，到2015年全球新興大數(shù)據(jù)市場規(guī)模已經(jīng)到達330億美金的規(guī)模，在未來3年內市場規(guī)模更將突破500億美元。
中國大數(shù)據(jù)機遇挑戰(zhàn)并存
看完了硅谷評選的大數(shù)據(jù)地形圖，作為一個中國的大數(shù)據(jù)廠商，也是唯一上榜的中國大數(shù)據(jù)廠商。我們既感到開心，也感覺到任重道遠。
對于SequoiaDB進入這次Landscape，我認為主要原因也有以下幾個：產(chǎn)品技術方面，我們作為一款標準化、商業(yè)化的新一代分布式數(shù)據(jù)庫產(chǎn)品，我們的產(chǎn)品完全自主研發(fā)并且保持了高性能、穩(wěn)定可靠;用戶方面，我們的數(shù)據(jù)庫產(chǎn)品在金融、電信和互聯(lián)網(wǎng)等行業(yè)都得到大規(guī)模應用，客戶包括民生、廣發(fā)銀行、電信移動等以及途牛、360安全路由等互聯(lián)網(wǎng)用戶，在企業(yè)用戶中經(jīng)受了考驗才是對我們最大的認可;同時，品牌和技術生態(tài)構件上，我們與硅谷主流大數(shù)據(jù)廠商Cloudera，Databricks，Hortonworks等成為全面戰(zhàn)略合作伙伴，也是國內僅有的一家Spark發(fā)行商認證的數(shù)據(jù)庫廠商，在海內外構建了我們自己的大數(shù)據(jù)生態(tài)。此外，我們也獲得了硅谷最具影響力的“紅鯡魚”和“快公司”的創(chuàng)新企業(yè)大獎，在創(chuàng)新品牌構建上也得到了硅谷的認可。
對于中國的大數(shù)據(jù)產(chǎn)業(yè)可以說是機遇和挑戰(zhàn)并存。
對于機遇，中國的大數(shù)據(jù)目前處在飛速發(fā)展期，傳統(tǒng)的大數(shù)據(jù)需求旺盛的行業(yè)如金融、電信等都在積極的往新一代的大數(shù)據(jù)技術演進，深度挖掘數(shù)據(jù)的價值;同時，更多的傳統(tǒng)企業(yè)，如制造業(yè)、貿(mào)易、零售等行業(yè)，在“產(chǎn)業(yè)轉型”的背景下，也在尋找轉型的方向，其中“大數(shù)據(jù)+”就是重要的方向之一;此外，國家對于大數(shù)據(jù)的大力支持也為大數(shù)據(jù)的發(fā)展構筑了良好的土壤和政策環(huán)境。
機遇之外，我認為更多的也是挑戰(zhàn)。
相比硅谷，國內在大數(shù)據(jù)技術領域特別是在基礎架構領域，目前基礎仍相對薄弱，這也造成了國內大數(shù)據(jù)更多會集中在應用層面，而真正像數(shù)據(jù)庫等基礎架構的廠商可謂屈指可數(shù)。同時，國內大數(shù)據(jù)的應用場景和環(huán)境、特性與海外也有許多不相同的地方，對于眾多引進入國內的海外廠商產(chǎn)品，或者是基于海外的開源產(chǎn)品構建的平臺，在實際應用中會存在“水土不服”的問題。所以只有國內原廠廠商真正從基礎做好自己的產(chǎn)品，才能更好解決國內大數(shù)據(jù)的需求。
