自創立之日起，酷克數據一直致力于降低企業進行大數據分析的門檻，推動數據民主化。今天，我們朝這個目標邁出了第一步：酷克數據在青云QingCloud上推出基于PostgreSQL和Greenplum Database的SQL-on-Cloud解決方案－－HashData數據倉庫。利用HashData數據倉庫，企業用戶可以隨時隨地用標準的SQL客戶端和BI工具對海量數據進行極速分析，輕松把握商業趨勢，及時應對各種變化。
什么是HashData數據倉庫
HashData數據倉庫是一個高性能、完全托管的PB級數據倉庫服務，讓企業用戶能夠更輕松地分析海量數據。通過使用HashData，企業用戶無需購買、配置和管理龐大的服務器集群，按使用量付費，沒有任何前期投入，使得數據存儲和分析的成本不到傳統解決方案的十分之一。另外，HashData數據倉庫兼容標準的JDBC和ODBC，無縫集成企業內部已有的ETL和BI工具。這意味著HashData數據倉庫使用起來跟部署在企業內部數據中心的傳統數據倉庫一樣自然方便。
HashData數據倉庫的優勢
完全托管，快速上手
通過使用HashData云服務，企業用戶可以在幾分鐘內創建啟動一個包含幾個到幾十個甚至上百個節點（根據業務需求）的數據倉庫集群，數據加載后馬上可以開始數據分析任務。隨著業務負載的變化，用戶還可以動態地對數據倉庫集群進行縱向伸縮（scale up and down）和橫向伸縮（scale in and out）。同時，由于是完全托管的云服務，HashData數據倉庫承擔了所有的集群資源配置、數據備份、持續監控、網絡遷移、錯誤恢復、高可用和升級等紛繁復雜、極易出錯的運維工作，讓用戶專注于業務分析上面。
為數據倉庫而優化的架構
大規模并行處理（MPP）架構：基于企業級PostgreSQL數據庫和MPP架構的分布式數據庫Greenplum Database，HashData數據倉庫通過將數據切片分布到各個計算節點后并行處理來解決海量數據分析的難題。每個HashData數據倉庫集群由一個稱為Master節點的主節點和多個稱為Segment節點的計算節點組成。主節點和每個計算節點都有自己獨立的CPU，內存和外部存儲。主節點負責接收客戶端的請求，生成查詢計劃，并將計劃下發到每個計算節點，協調查詢計劃的完成，最后匯總查詢結果返回給客戶端。計算節點負責數據的存儲以及查詢計劃的執行。計算節點之間是沒有任何共享依賴的（shared nothing）。查詢在每個計算節點上面并行執行，大大提升了查詢的效率。
列式存儲：HashData數據倉庫提供了列式的存儲策略。由于數據倉庫中的大部分查詢只涉及整表中的部分字段，相比于行式存儲需要加載整表的數據，列式存儲只需要加載某幾列的數據，磁盤的IO及內存的消耗都顯著減小。同時，HashData數據倉庫還支持按列數據壓縮。由于同列的數據類型相同、甚至有很多值也相同，按列的壓縮比會非常高。這大大減少磁盤占用空間、讀寫IO和內存占用空間，并提高了查詢的性能。
大表分區：MPP架構實現了對表數據的橫向物理切分，而表分區則是對表數據的縱向邏輯切分，將一張頂層（父）大表根據約束條件分成一層或多層子表，每一層包含多張子表。HashData數據倉庫支持基于數值范圍（如日期或價格）、列表包含的數值（如銷售地區或產品線）以及兩者組合的分區策略。當查詢優化器能夠利用查詢語句中的過濾條件（與分區表的約束條件進行匹配）避免大部分分區掃描的時候，查詢性能將得到大幅的提升。
互聯互通，擁抱開源
HashData數據倉庫服務實現了多種途徑將存放在青云QingCloud上面的數據加載到數據倉庫中以供分析。對于傳統的沒有使用云的用戶，只需要先將數據文件上傳到青云QingCloud上面，同樣可以使用HashData數據倉庫來分析海量數據。
從QingStor對象存儲中加載數據：傳統的用戶可以將數據文件上傳到青云QingCloud的對象存儲服務QingStor上，然后利用HashData提供的命令將QingStor中的數據并行加載到數據倉庫中。
從Hadoop中加載數據：青云QingCloud提供了基于Hadoop框架的大數據處理服務。經過大數據平臺加工后存放在HDFS上的數據可以通過HashData數據倉庫的SQL語句直接加載到數據倉庫中。
其它數據源：青云QingCloud提供了很多數據服務，如關系型數據庫MySQL和PostgreSQL，NoSQL數據庫MongoDB，緩存服務redis，消息服務Kafka，以及服務器本身。在后續版本開發中，HashData會逐步實現相應的訪問協議從這些服務將數據加載到數據倉庫中。
為了充分利用云平臺的特性，HashData數據倉庫在PostgreSQL和Greenplum Database的基礎上對系統架構和運行實現進行了深度的優化，但查詢接口（甚至是使用習慣）以及底層數據文件存儲格式和訪問協議保持與開源版本的PostgreSQL和Greenplum Database一致。即便是那些為青云QingCloud數據服務而開發的訪問協議代碼也將陸續開源。所以，使用HashData數據倉庫完全沒有數據綁架的風險。
豐富的分析功能
作為企業級的數據庫和數據倉庫產品，PostgreSQL和Greenplum Database提供了豐富的分析功能。HashData數據倉庫在繼承這些功能的同時，并結合云平臺的特性進行了調整和改進。
SQL: HashData數據倉庫實現了ANSI SQL 2008標準和2003 OLAP擴展，支持標準的JDBC和ODBC接口。業界常用的ETL和BI工具都可以支持HashData數據倉庫作為分析引擎。
用戶自定義分析：通過支持用戶自定義數據處理函數，HashData數據倉庫大大擴展了自身的分析能力。支持的語言包括PL/Pgsql，PL/C，PL/Python，PL/JAVA和PL/R。
機器學習：HashData數據倉庫原生支持Apache MADlib，一個開源的，基于SQL的in-database機器學習庫。Apache MADlib基本包含了所有常見的機器學習方法。
其它：全文檢索和地理信息處理是很重要的分析功能。PostgreSQL社區提供了相應的擴展和項目，但這些功能模塊現在只支持單機版的執行引擎。HashData數據倉庫計劃在未來的版本中提供基于這些項目的并行全文檢索和地理信息處理功能。
總結
上面討論了很多HashData數據倉庫的技術功能，但如同酷克數據的公司使命，HashData數據倉庫云服務給企業帶來的真正價值在于，它降低了企業進行大數據分析的技術門檻，消除了規劃、購買和運維大量基礎設施給企業帶來的負擔，讓企業專注于自己的核心業務上面。加載數據，分析數據，挖掘價值，其他一切交給HashData！
