數據湖到底是什么湖？

數據作為一項重要資產，已經成為企業的共識，為了更好地存儲數據、挖掘數據，企業需要：

· 一個超級大的存儲庫，對數據進行長期的原樣的存儲；

· 能夠對這些數據高效地管理與集中治理；

· 需要強大的計算能力滿足數據處理需求。

假設有這樣一種解決方案：在一種技術的支持下，企業在快速實現企業中各類的數據集成的同時，也能輕松獲取企業外部數據，打通產業鏈上下游數據，實現生態化數據整合，實現全貌數據分析。同時，數據存儲量大，支持批量歷史數據和實時流數據的處理，能夠實現數據的快速查詢和高級分析。

這樣的解決方案，你是否會心動？

其實，這個方案，通過數據湖就能實現。

一、什么是數據湖？

數據湖概念的提出，最早是在2010年，由Pentaho的創始人兼CTO詹姆斯·狄克遜(James Dixon)在紐約Hadoop World大會上提出的，就在當時，發布了如今被大數據界廣泛使用的開源框架Hadoop的第一個版本。

近兩年，隨著大數據、云計算等技術的發展與成熟，數據湖再次被人們提起，人們對原始數據的分析、非結構化數據的分析的應用也越來越多，數據湖開始走向企業的實際應用中。

維基百科對數據湖的定義：數據湖是一個以原始格式(通常是對象塊或文件)存儲數據的系統或存儲庫。數據湖通常是所有企業數據的單一存儲，用于報告、可視化、高級分析和機器學習等任務。數據湖可以包括來自關系數據庫的結構化數據(行和列)、半結構化數據(CSV、日志、XML、JSON)、非結構化數據（電子郵件、文檔、pdf）和二進制數據（圖像、音頻、視頻）。

根據網上資料，有一張數據湖的參考架構：

從架構上來看，數據湖的主要特征有：

數據接入：數據湖提供各種類型數據的接入，包括數據庫中的表、各種格式的文件、數據流、ETL工具轉換后的數據、應用API獲取的數據等等，并自動生成元數據信息。
數據存儲：數據湖存儲的數據量大、來源多，并且是以原始格式存儲，不同于數據倉庫的結構化存儲方式，數據湖以自然格式存儲數據。
數據處理：支持數據的驗證、清洗、聚合、權限管理以及數據安全等。
數據應用：除了BI、報表分析、可視化分析、高級分析外，也適用于機器學習。

數據湖本質上是一套先進的企業數據架構。

2、數據湖和數據倉庫有什么區別呢？

在這里，我們拿數據湖和熟知的數據倉庫進行對比，方便大家對數據湖進一步理解。

通過對比，我們可以看到數據湖相比于數據倉庫，不僅在數據源上更豐富，數據也不需要提前進行定義，在準備使用數據時再定義即可，這提高了數據的靈活性與可擴展性。

數據湖在未來的使用中應用范圍更廣，使用場景也從批處理、BI擴展到機器學習、高級分析。

三、數據湖能夠給企業帶來哪些價值？

通過對數據的分析與應用成功創造商業價值的企業，將會在數字化浪潮下越走越遠。數據湖的核心價值是為企業帶來了數據平臺化運營機制，真正幫助企業實現技術轉型，應對快速發展的商業環境下層出不窮的新問題。據Aberdeen 的一項調查顯示，實施數據湖的組織比同類公司在有機收入增長方面高出 9%。

數據湖對企業的價值主要體現在：

1、保存原始數據，企業數據保真

數據倉庫保存的數據都是結構化處理后的數據，而非原始數據，且無用數據不會被納入。但是目前看來"無用"的數據是否真的沒有用處呢？其他格式的數據是否沒有價值？有用無用依賴的是我們業務人員的經驗來判斷的，這明顯不符合大數據的原則，而數據湖能夠保存原始數據，同時過程數據會不斷的完善、演化，以滿足業務的需要，保證用戶能獲取到各個階段的數據。