EasyHadoop集群部署入門
1. 文檔概述
2. 背景
3. 名詞解釋
4. 服務器結構
#Hadoop試驗集群的部署結構
#系統和組建的依賴關系
#生產環境的部署結構
5. Red hat Linux基礎環境搭建
#linux 安裝 (vm虛擬機)
#配置機器時間同步
#配置機器網絡環境
#配置集群hosts列表
#下載并安裝 JAVA JDK系統軟件
#生成登陸密鑰
#創建用戶賬號和Hadoop部署目錄和數據目錄
#檢查基礎環境
6. Hadoop 單機系統 安裝配置
#Hadoop 文件下載和解壓
#配置 hadoop-env.sh 環境變量
#Hadoop Common組件 配置 core-site.xml
#HDFS NameNode,DataNode組建配置 hdfs-site.xml
#配置MapReduce – JobTracker TaskTracker 啟動配置
#Hadoop單機系統,啟動執行和異常檢查
#通過界面查看集群部署部署成功
#通過執行 Hadoop pi 運行樣例檢查集群是否成功
#安裝部署 常見錯誤
7. Hadoop 集群系統 配置安裝配置
#檢查node節點linux 基礎環境是否正常,參考 [ linux 基礎環境搭建]一節。
#配置從master 機器到 node 節點無密鑰登陸
#檢查master到每個node節點在hadoop用戶下使用密鑰登陸是否正常
#配置master 集群服務器地址 stop-all.sh start-all.sh 的時候調用
#通過界面查看集群部署部署成功
#通過執行 Hadoop pi 運行樣例檢查集群是否成功
8. 自動化安裝腳本
#master 服務器自動安裝腳本
Hive倉庫集群部署入門
1. 名詞解釋
2. Hive的作用和原理說明
#數據倉庫結構圖
#Hive倉庫流程圖
#hive內部結構圖
3. Hive 部署和安裝
#安裝Hadoop集群,看EasyHadoop安裝文檔。
#安裝Mysql,啟動Mysql,檢查gc++包。
#解壓Hive包并配置JDBC連接地址。
#啟動Hive thrift Server。
#啟動內置的Hive UI。
4. Hive Cli 的基本用法
#登陸查詢
#查詢文件方式
#命令行模式
5. HQL基本語法 (創建表,加載表,分析查詢,刪除表)
#創建表
6. 使用Mysql構建簡單數據集市
#Mysql的兩種引擎介紹
#創建一個數據表使用Hive cli 進行數據分析
#使用shell 編寫Hsql 并使用HiveCli導出數據,使用Mysql命令加載到數據庫中。
#使用crontab 新增每日運行任務定時器
7. 使用FineReport 數據展現數據
#安裝FineReport,使用注冊碼!
#使用FineReport,快速展現數據報表。
#FineReport 的問題和局限
