Spark超大型大數據項目視頻教程 15課
課程介紹:
Spark是UC Berkeley AMP lab (加州大學伯克利分校的AMP實驗室)所開源的類Hadoop MapReduce的通用并行框架,Spark,擁有Hadoop MapReduce所具有的優點;但不同于MapReduce的是Job中間輸出結果可以保存在內存中,從而不再需要讀寫HDFS,因此Spark能更好地適用于數據挖掘與機器學習等需要迭代的MapReduce的算法。
Spark 是一種與 Hadoop 相似的開源集群計算環境,但是兩者之間還存在一些不同之處,這些有用的不同之處使 Spark 在某些工作負載方面表現得更加優越,換句話說,Spark 啟用了內存分布數據集,除了能夠提供交互式查詢外,它還可以優化迭代工作負載。
Spark 是在 Scala 語言中實現的,它將 Scala 用作其應用程序框架。與 Hadoop 不同,Spark 和 Scala 能夠緊密集成,其中的 Scala 可以像操作本地集合對象一樣輕松地操作分布式數據集。
盡管創建 Spark 是為了支持分布式數據集上的迭代作業,但是實際上它是對 Hadoop 的補充,可以在 Hadoop 文件系統中并行運行。通過名為 Mesos 的第三方集群框架可以支持此行為。Spark 由加州大學伯克利分校 AMP 實驗室 (Algorithms, Machines, and People Lab) 開發,可用來構建大型的、低延遲的數據分析應用程序。
課程目錄:
第01課:大數據最火爆語言Scala光速入門.mp4
第02集:Scala面向對象徹底精通及Spark源碼閱讀.mp4
第03課:Scala函數式編程徹底精通及Spark源碼閱讀.mp4
第04課:Scala模式匹配、類型系統徹底精通與Spark源碼閱讀.mp4
第05課:徹底精通Scala隱式轉換和并發編程及Spark源碼閱讀.mp4
第06課:精通Spark集群搭建與測試.mp4
第07課:實戰解析Spark運行原理和RDD解密.mp4
第08課:徹底實戰詳解使用IDE開發Spark程序.mp4.mp4
第09課:徹底實戰詳解 IntelliJ IDEA下的Spark程序開發.mp4
第10課:底實戰詳解使用Java開發Spark程序.mp4
第11課:徹底解密WordCount運行原理.mp4
第12課:HA下的Spark集群工作原理解密.mp4
第13課:Spark內核架構解密.mp4
第14課:Spark RDD解密.mp4
第15課:RDD創建內幕徹底解密.mp4