2017最新某團購網站的大型離線電商數據分析平臺的實戰演練視頻教程配套軟件文檔齊全 138課目錄
第一章 大數據集群搭建
1.1、課程介紹.mp4
1.2、CentOS 6.4集群搭建-1.mp4
1.3、CentOS 6.4集群搭建-2.mp4
1.4、hadoop-2.5.0-cdh5.3.6集群搭建.mp4
1.5、hive-0.13.1-cdh5.3.6安裝.mp4
1.6、zookeeper-3.4.5-cdh5.3.6集群搭建.mp4
1.7、kafka_2.9.2-0.8.1集群搭建.mp4
1.8、flume-ng-1.5.0-cdh5.3.6安裝.mp4
1.9、離線日志采集流程介紹.mp4
1.10、實時數據采集流程介紹.mp4
1.11、Spark 1.5.1客戶端安裝以及基于YARN的提交模式.mp4
第二章 用戶訪問session分析
2.1、模塊介紹.mp4
2.2、基礎數據結構以及大數據平臺架構介紹.mp4
2.3、需求分析.mp4
2.4、技術方案設計.mp4
2.5、數據表設計.mp4
2.6、Eclipse工程搭建以及工具類說明.mp4
2.7、開發配置管理組件.mp4
2.8、JDBC原理介紹以及增刪改查示范.mp4
2.9、數據庫連接池原理.mp4
2.10、單例設計模式.mp4
2.11、內部類以及匿名內部類.mp4
2.12、開發JDBC輔助組件(上).mp4
2.13、開發JDBC輔助組件(下).mp4
2.14、JavaBean概念講解.mp4
2.15、DAO模式講解以及TaskDAO開發.mp4
2.16、工廠模式講解以及DAOFactory開發.mp4
2.17、JSON數據格式講解以及fastjson介紹.mp4
2.18、Spark上下文構建以及模擬數據生成.mp4
2.19、按session粒度進行數據聚合.mp4
2.20、按篩選參數對session粒度聚合數據進行過濾.mp4
2.21、session聚合統計之自定義Accumulator.mp4
2.22、session聚合統計之重構實現思路與重構session聚合.mp4
2.23、session聚合統計之重構過濾進行統計.mp4
2.24、session聚合統計之計算統計結果并寫入MySQL.mp4
2.25、session聚合統計之本地測試.mp4
2.26、session聚合統計之使用Scala實現自定義Accumulator.mp4
2.27、session隨機抽取之實現思路分析.mp4
2.28、session隨機抽取之計算每天每小時session數量.mp4
2.29、session隨機抽取之按時間比例隨機抽取算法實現.mp4
2.30、session隨機抽取之根據隨機索引進行抽取.mp4
2.31、session隨機抽取之獲取抽取session的明細數據.mp4
2.32、session隨機抽取之本地測試.mp4
2.33、top10熱門品類之需求回顧以及實現思路分析.mp4
2.34、top10熱門品類之獲取session訪問過的所有品類.mp4
2.35、top10熱門品類之計算各品類點擊、下單和支付的次數.mp4
2.36、top10熱門品類之join品類與點擊下單支付次數.mp4
2.37、top10熱門品類之自定義二次排序key.mp4
2.38、top10熱門品類之進行二次排序.mp4
2.39、top10熱門品類之獲取top10品類并寫入MySQL.mp4
2.40、top10熱門品類之本地測試.mp4
2.41、top10熱門品類之使用Scala實現二次排序.mp4
2.42、top10活躍session之開發準備以及top10品類RDD生成.mp4
2.43、top10活躍session之計算top10品類被各sessoin點擊的次數.mp4
2.44、top10活躍session之分組取TopN算法獲取top10活躍session.mp4
2.45、top10活躍session之本地測試以及階段總結.mp4
第三章 企業級性能調優、troubleshooting經驗與數據傾斜解決方案
3.1、性能調優之在實際項目中分配更多資源.mp4
3.2、性能調優之在實際項目中調節并行度.mp4
3.3、性能調優之在實際項目中重構RDD架構以及RDD持久化.mp4
3.4、性能調優之在實際項目中廣播大變量.mp4
3.5、性能調優之在實際項目中使用Kryo序列化.mp4
3.6、性能調優之在實際項目中使用fastutil優化數據格式.mp4
3.7、性能調優之在實際項目中調節數據本地化等待時長.mp4
3.8、JVM調優之原理概述以及降低cache操作的內存占比.mp4
3.9、JVM調優之調節executor堆外內存與連接等待時長.mp4
3.10、Shuffle調優之原理概述.mp4
3.11、Shuffle調優之合并map端輸出文件.mp4
3.12、Shuffle調優之調節map端內存緩沖與reduce端內存占比.mp4
3.13、Shuffle調優之HashShuffleManager與SortShuffleManager.mp4
3.14、算子調優之MapPartitions提升Map類操作性能.mp4
3.15、算子調優之filter過后使用coalesce減少分區數量.mp4
3.16、算子調優之使用foreachPartition優化寫數據庫性能.mp4
3.17、算子調優之使用repartition解決Spark SQL低并行度的性能問.mp4
3.18、算子調優之reduceByKey本地聚合介紹.mp4
3.19、troubleshooting之控制shuffle reduce端緩沖大小以避免OOM.mp4
3.20、troubleshooting之解決JVM GC導致的shuffle文件拉取失敗.mp4
3.21、troubleshooting之解決YARN隊列資源不足導致的application直接失敗.mp4
3.22、troubleshooting之解決各種序列化導致的報錯.mp4
3.23、troubleshooting之解決算子函數返回NULL導致的問題.mp4
3.24、troubleshooting之解決yarn-client模式導致的網卡流量激增問題.mp4
3.25、troubleshooting之解決yarn-cluster模式的JVM棧內存溢出問題.mp4
3.26、troubleshooting之錯誤的持久化方式以及checkpoint的使用.mp4
3.27、數據傾斜解決方案之原理以及現象分析.mp4
3.28、數據傾斜解決方案之聚合源數據以及過濾導致傾斜的key.mp4
3.29、數據傾斜解決方案之提高shuffle操作reduce并行度.mp4
3.30、數據傾斜解決方案之使用隨機key實現雙重聚合.mp4
3.31、數據傾斜解決方案之將reduce join轉換為map join.mp4
3.32、數據傾斜解決方案之sample采樣傾斜key單獨進行join.mp4
3.33、數據傾斜解決方案之使用隨機數以及擴容表進行join.mp4
第四章 頁面單跳轉化率統計
4.1、模塊介紹.mp4
4.2、需求分析、技術方案設計、數據表設計.mp4
4.3、編寫基礎代碼.mp4
4.4、面切片生成以及頁面流匹配算法實現.mp4
4.5、計算頁面流起始頁面的pv.mp4
4.6、計算頁面切片的轉化率.mp4
4.7、將頁面切片轉化率寫入MySQL.mp4
4.8、本地測試.mp4
4.9、生產環境測試.mp4
4.10
