課程介紹《Spark 大數(shù)據(jù)平臺(tái)》        本課程內(nèi)容全面涵蓋了Spark生態(tài)系統(tǒng)的概述及其編程模型，深入內(nèi)核的研究，Spark on Yarn,Spark Streaming流式計(jì)算原理與實(shí)踐

Spark SQL,基于Spark的機(jī)器學(xué)習(xí)，圖計(jì)算，Techyon,Spark的多語(yǔ)言編程以及SparkR的原理和運(yùn)行。面向研究Spark的學(xué)員，它是一門(mén)非常有學(xué)習(xí)指引意義的課程。

時(shí)間：共10周



——————-課程目錄——————-



第一周 Spark生態(tài)系統(tǒng)概述與編程模型    Spark生態(tài)系統(tǒng)概述

    回顧Hadoop MapReduce

    Spark運(yùn)行模式

    RDD

    Spark運(yùn)行時(shí)模型簡(jiǎn)介

    緩存策略介紹

    transformation

    action

    lineage

    容錯(cuò)處理

    寬依賴與窄依賴

    集群配置



第二周 深入Spark內(nèi)核

    Spark術(shù)語(yǔ)解釋

    集群概覽

    核心組件

    數(shù)據(jù)本地性

    常用RDD

    任務(wù)調(diào)度

    DAGScheduler

    TaskScheduler

    Task細(xì)節(jié)

    廣播變量

    累加器

    性能調(diào)優(yōu)



第三周 Spark on Yarn & Spark as a service

    Spark on Yarn原理

    Spark on Yarn實(shí)踐

    JobServer架構(gòu)

    JobServer API介紹

    JobServer配置與部署



第四周 Spark Streaming原理與實(shí)踐

    DStream

    數(shù)據(jù)源

    無(wú)狀態(tài)transformation與有狀態(tài)transformation

    checkpoint

    容錯(cuò)

    性能優(yōu)化



第五周 Shark與Spark SQL

    Shark數(shù)據(jù)模型

    Shark數(shù)據(jù)類型

    Shark架構(gòu)

    Shark部署

    緩存(分區(qū))表

    SharkServer

    Shark與Spark結(jié)合

    Spark SQL架構(gòu)

    Parquet支持

    DSL

    SQL on RDD

    Hive支持

    UDF

    JDBC Server



第六周 Machine Learning on Spark

    LinearRegression

    K-Means

    Collaborative Filtering



第七周 Spark多語(yǔ)言編程

    Python簡(jiǎn)介

    PySpark API

    使用Python編寫(xiě)Spark程序

    Spark with Java



第八周 圖計(jì)算GraphX

    現(xiàn)存的圖計(jì)算框架

    Table Operators

    Graph Operators

    GraphX設(shè)計(jì)



第九周 Tachyon原理與實(shí)踐

    Tachyon原理與架構(gòu)

    Tachyon實(shí)踐



第十周 SparkR

    SparkR原理介紹

    安裝配置與運(yùn)行