大數(shù)據(jù)架構(gòu)設(shè)計
Hadoop有3個核心組件：分布式文件系統(tǒng)HDFS；分布式運算編程框架MapReduce；分布式資源調(diào)度平臺YARN。
HBase，Hadoop dataBase，基于HDFS的NoSQL數(shù)據(jù)庫，面向列式的內(nèi)存存儲，定期將內(nèi)存數(shù)據(jù)刷新到磁盤(刷盤)。使用LSM樹結(jié)構(gòu)存儲結(jié)構(gòu)。不支持SQL、沒有表關(guān)系、無法join操作，不支持事務(wù)（僅支持行級事務(wù)）、不支持回滾。MySQL4張表在HBase對應1個表、4個列。
HBase列式內(nèi)存存儲
離線計算數(shù)據(jù)流程
離線計算數(shù)據(jù)流程
實時計算數(shù)據(jù)流程
實時計算數(shù)據(jù)流程
專業(yè)術(shù)語
OLTP，聯(lián)機事務(wù)處理，Online Transaction Processing。
OLAP，聯(lián)機實時分析，Online Analytical Processing。
HTAP，混合事務(wù)和分析處理，Hybrid Transaction & Analytical Processing。
MPP，大規(guī)模并行處理，Massively Parallel Processing。
數(shù)據(jù)倉庫與分層
ODS 數(shù)據(jù)接入層：所有的數(shù)據(jù)首先接入ODS層，數(shù)據(jù)復雜多樣，粒度最粗。
DIM 維表層：根據(jù)維度及其屬性將數(shù)據(jù)平臺上構(gòu)建的物理化的表，采用寬表設(shè)計的原則。
DWD 數(shù)據(jù)倉庫層：經(jīng)過ODS清洗、處理后的一致性、準確的、干凈的數(shù)據(jù)。
DWS 數(shù)據(jù)集市層：該層數(shù)據(jù)是面向主題來組織的輕度匯總級的數(shù)據(jù)。
DWT 數(shù)據(jù)應用層： 為了滿足具體的分析需求而構(gòu)建的高度匯總的數(shù)據(jù)。
ADS 層：為各種報表提供數(shù)據(jù)。
大數(shù)據(jù)組件
存儲框架
HBase、TiDB、ClickHouse、InfluxDB（時序數(shù)據(jù)庫）、GraphQL、Elasticsearch、Apache Doris等。
數(shù)據(jù)同步轉(zhuǎn)換組件
Sqoop、canal、DataX、maxwell、Debezium、Flink-CDC、Kettle、StreamSets。
離線批量計算分析引擎
MapReduce、Yarn、Hive、Spark。（Hive無物理存儲功能、邏輯表，定義元數(shù)據(jù)）
實時流式計算引擎
Flink、Storm、Spark Streaming。
存儲層
HDFS、Apache Ozone、S3、OSS、Ceph、GlusterFS。
數(shù)據(jù)湖
Apache Hudi、Apache Iceberg、Delta Lake。
任務(wù)調(diào)度工具
Azkaban、Airflow、Oozie、Dolphin、Scheduler。
ETL數(shù)據(jù)抽取工具
Kettle、StreamSets、Apache NiFi、Airbyte。
Hodoop集群管理工具、大數(shù)據(jù)運維
Ambari、CDH（Cloudera版本）、HDP（Hortonwork版）、CDP（Cloudera和Hortonwork合并版本，收費）、USDP（國產(chǎn)UCloud版）、CRH（基于Apache Ambari+Apache BigTop）、TDH（星環(huán)收費閉源）。
