課程介紹



本課程內容主要包括Spark生態系統、Spark架構、Spark執行原理的概述，實際動手搭建Spark集群，同時學習Spark實時計算、Spark Streaming流式計算的多語言編程，最后學習Spark SQL、基于Spark的機器學習、圖計算等相關內容。

課程背景

Hadoop在大數據領域應經證明了其存在的價值，在超大數據量時，Hadoop有著較高的優勢。

但是在普通數據量實時計算上面還是差很多，因為Hadoop的設計導致數據計算具有較高的延遲，所以無法滿足實時數據需求，而單機計算更沒有辦法滿足，由此誕生了Spark，基于內存的分布式實時計算框架，在某些數據量情況下，Spark的計算性能超Hadoop百倍，而算法實現僅有其1/10，甚至更少，所有Spark未來會成為大數據領域一顆耀眼的明星！





課程大綱





第一周 Spark生態系統概述

1.Spark生態系統概述

2.BDAS

3.Spark運行模式

4.Spark核心內容

（1）RDD

（2）transformation

（3）action

5.lineage

6.容錯處理

7.寬依賴與窄依賴



第二周 Spark運行、開發環境搭建

1.Hadoop2.x安裝

2.spark源碼編譯

3.spark安裝及測試

4.Spark on YARN

5.開發環境搭建



第三周 spark 編程

1.常用RDD

2.常用transformation

3.常用action

4.Scala、Python、Java多種語言編程實踐



第四周 Spark Streaming概述及實踐

1.DStream

2.數據源

3.transformation on DStreams

4.checkpoint

5.容錯

6.編程實踐

7.性能優化







——————-課程目錄——————-





│      課時1：spark基本介紹，RDD操作方式.rar

│      課時2：付費學員服務指引.rar

│      課時3：學習資料.rar

│      課時4：1.Spark基本介紹.rar

│      課時5：2.Spark-RDD操作方式.rar

│      課時6：3.spark容錯、調度.rar

│      課時7：1.spark安裝基礎，JDK、hadoop.rar

│      課時8：2.scala、spark安裝及測試.rar

│      課時9：3.開發環境搭建.rar

│      課時10：PPT課件

│      課時11：學習資料課件

│      課時12：1.RDD知識回顧.rar

│      課時13：2.transformation實踐操作.rar

│      課時14：3.RDD之Transformation.rar

│      課時15：4.RDD之action學習.rar

│      課時16：PPT課件

│      課時17：1.SparkStreaming.rar

│      課時18：2.spark之transformation.rar

│      課時19：3.sparkstreaming之Windowsoperations.rar

│      課時20：4.sparkstreaming之transformoperations.rar

│      課時21：5.sparkstreaming之outputoperation及代碼優化點.rar