[項目實戰] Spark大型項目實戰：電商用戶行為分析大數據平臺（高端大數據項目實戰課程）
 課程名稱：Spark大型項目實戰：電商用戶行為分析大數據平臺（高端大數據項目實戰課程）價值2250元 課程目錄： 一、大數據集群搭建 第1講-課程介紹 第2講-課程環境搭建：CentOS 6.4集群搭建 第3講-課程環境搭建：hadoop-2.5.0-cdh5.3.6集群搭建 第4講-課程環境搭建：hive-0.13.1-cdh5.3.6安裝 第5講-課程環境搭建：zookeeper-3.4.5-cdh5.3.6集群搭建 第6講-課程環境搭建：kafka_2.9.2-0.8.1集群搭建 第7講-課程環境搭建：flume-ng-1.5.0-cdh5.3.6安裝 第8講-課程環境搭建：離線日志采集流程介紹 第9講-課程環境搭建：實時數據采集流程介紹 第10講-課程環境搭建：Spark 1.5.1客戶端安裝以及基于YARN的提交模式 二、用戶訪問session分析： 第11講-用戶訪問session分析：模塊介紹 第12講-用戶訪問session分析：基礎數據結構以及大數據平臺架構介紹 第13講-用戶訪問session分析：需求分析 第14講-用戶訪問session分析：技術方案設計 第15講-用戶訪問session分析：數據表設計 第16講-用戶訪問session分析：Eclipse工程搭建以及工具類說明 第17講-用戶訪問session分析：開發配置管理組件 第18講-用戶訪問session分析：JDBC原理介紹以及增刪改查示范 第19講-用戶訪問session分析：數據庫連接池原理 第20講-用戶訪問session分析：單例設計模式 第21講-用戶訪問session分析：內部類以及匿名內部類 第22講-用戶訪問session分析：開發JDBC輔助組件（上） 第23講-用戶訪問session分析：開發JDBC輔助組件（下） 第24講-用戶訪問session分析：JavaBean概念講解 第25講-用戶訪問session分析：DAO模式講解以及TaskDAO開發 第26講-用戶訪問session分析：工廠模式講解以及DAOFactory開發 第27講-用戶訪問session分析：JSON數據格式講解以及fastjson介紹 第28講-用戶訪問session分析：Spark上下文構建以及模擬數據生成 第29講-用戶訪問session分析：按session粒度進行數據聚合 第30講-用戶訪問session分析：按篩選參數對session粒度聚合數據進行過濾 第31講-用戶訪問session分析：session聚合統計之自定義Accumulator 第32講-用戶訪問session分析：session聚合統計之重構實現思路與重構session聚合 第33講-用戶訪問session分析：session聚合統計之重構過濾進行統計 第34講-用戶訪問session分析：session聚合統計之計算統計結果并寫入MySQL 第35講-用戶訪問session分析：session聚合統計之本地測試 第36講-用戶訪問session分析：session聚合統計之使用Scala實現自定義Accumulator 第37講-用戶訪問session分析：session隨機抽取之實現思路分析 第38講-用戶訪問session分析：session隨機抽取之計算每天每小時session數量 第39講-用戶訪問session分析：session隨機抽取之按時間比例隨機抽取算法實現 第40講-用戶訪問session分析：session隨機抽取之根據隨機索引進行抽取 第41講-用戶訪問session分析：session隨機抽取之獲取抽取session的明細數據 第42講-用戶訪問session分析：session隨機抽取之本地測試 第43講-用戶訪問session分析：top10熱門品類之需求回顧以及實現思路分析 第44講-用戶訪問session分析：top10熱門品類之獲取session訪問過的所有品類 第45講-用戶訪問session分析：top10熱門品類之計算各品類點擊、下單和支付的次數 第46講-用戶訪問session分析：top10熱門品類之join品類與點擊下單支付次數 第47講-用戶訪問session分析：top10熱門品類之自定義二次排序key 第48講-用戶訪問session分析：top10熱門品類之進行二次排序 第49講-用戶訪問session分析：top10熱門品類之獲取top10品類并寫入MySQL 第50講-用戶訪問session分析：top10熱門品類之本地測試 第51講-用戶訪問session分析：top10熱門品類之使用Scala實現二次排序 第52講-用戶訪問session分析：top10活躍session之開發準備以及top10品類RDD生成 第53講-用戶訪問session分析：top10活躍session之計算top10品類被各sessoin點擊的次數 第54講-用戶訪問session分析：top10活躍session之分組取TopN算法獲取top10活躍session 第55講-用戶訪問session分析：top10活躍session之本地測試以及階段總結 三、企業級性能調優、troubleshooting經驗與數據傾斜解決方案： 第56講-用戶訪問session分析：性能調優之在實際項目中分配更多資源 第57講-用戶訪問session分析：性能調優之在實際項目中調節并行度 第58講-用戶訪問session分析：性能調優之在實際項目中重構RDD架構以及RDD持久化 第59講-用戶訪問session分析：性能調優之在實際項目中廣播大變量 第60講-用戶訪問session分析：性能調優之在實際項目中使用Kryo序列化 第61講-用戶訪問session分析：性能調優之在實際項目中使用fastutil優化數據格式 第62講-用戶訪問session分析：性能調優之在實際項目中調節數據本地化等待時長 第63講-用戶訪問session分析：JVM調優之原理概述以及降低cache操作的內存占比 第64講-用戶訪問session分析：JVM調優之調節executor堆外內存與連接等待時長 第65講-用戶訪問session分析：Shuffle調優之原理概述 第66講-用戶訪問session分析：Shuffle調優之合并map端輸出文件 第67講-用戶訪問session分析：Shuffle調優之調節map端內存緩沖與reduce端內存占比 第68講-用戶訪問session分析：Shuffle調優之HashShuffleManager與SortShuffleManager 第69講-用戶訪問session分析：算子調優之MapPartitions提升Map類操作性能 第70講-用戶訪問session分析：算子調優之filter過后使用coalesce減少分區數量 第71講-用戶訪問session分析：算子調優之使用foreachPartition優化寫數據庫性能 第72講-用戶訪問session分析：算子調優之使用repartition解決Spark SQL低并行度的性能問題 第73講-用戶訪問session分析：算子調優之reduceByKey本地聚合介紹 第74講-用戶訪問session分析：troubleshooting之控制shuffle reduce端緩沖大小以避免OOM 第75講-用戶訪問session分析：troubleshooting之解決JVM GC導致的shuffle文件拉取失敗 第76講-用戶訪問session分析：troubleshooting之解決YARN隊列資源不足導致的application直接失敗 第77講-用戶訪問session分析：troubleshooting之解決各種序列化導致的報錯 第78講-用戶訪問session分析：troubleshooting之解決算子函數返回NULL導致的問題 第79講-用戶訪問session分析：troubleshooting之解決yarn-client模式導致的網卡流量激增問題 第80講-用戶訪問session分析：troubleshooting之解決yarn-cluster模式的JVM棧內存溢出問題 第81講-用戶訪問session分析：troubleshooting之錯誤的持久化方式以及checkpoint的使用 第82講-用戶訪問session分析：數據傾斜解決方案之原理以及現象分析 第83講-用戶訪問session分析：數據傾斜解決方案之聚合源數據以及過濾導致傾斜的key 第84講-用戶訪問session分析：數據傾斜解決方案之提高shuffle操作reduce并行度 第85講-用戶訪問session分析：數據傾斜解決方案之使用隨機key實現雙重聚合 第86講-用戶訪問session分析：數據傾斜解決方案之將reduce join轉換為map join 第87講-用戶訪問session分析：數據傾斜解決方案之sample采樣傾斜key單獨進行join 第88講-用戶訪問session分析：數據傾斜解決方案之使用隨機數以及擴容表進行join 四、頁面單跳轉化率統計： 第89講-頁面單跳轉化率：模塊介紹 第90講-頁面單跳轉化率：需求分析、技術方案設計、數據表設計 第91講-頁面單跳轉化率：編寫基礎代碼 第92講-頁面單跳轉化率：頁面切片生成以及頁面流匹配算法實現 第93講-頁面單跳轉化率：計算頁面流起始頁面的pv 第94講-頁面單跳轉化率：計算頁面切片的轉化率 第95講-頁面單跳轉化率：將頁面切片轉化率寫入MySQL 第96講-頁面單跳轉化率：本地測試 第97講-頁面單跳轉化率：生產環境測試 第98講-用戶訪問session分析：生產環境測試 五、各區域熱門商品統計： 第99講-各區域熱門商品統計：模塊介紹 第100講-各區域熱門商品統計：需求分析、技術方案設計以及數據設計 第101講-各區域熱門商品統計：查詢用戶指定日期范圍內的點擊行為數據 第102講-各區域熱門商品統計：異構數據源之從MySQL中查詢城市數據 第103講-各區域熱門商品統計：關聯城市信息以及RDD轉換為DataFrame后注冊臨時表 第104講-各區域熱門商品統計：開發自定義UDAF聚合函數之group_concat_distinct() 第105講-各區域熱門商品統計：查詢各區域各商品的點擊次數并拼接城市列表 第106講-各區域熱門商品統計：關聯商品信息并使用自定義get_json_object函數和內置if函數標記經營類型 第106講-各區域熱門商品統計：使用開窗函數統計各區域的top3熱門商品 第107講-各區域熱門商品統計：使用內置case when函數給各個區域打上級別標記 第108講-各區域熱門商品統計：將結果數據寫入MySQL中 第109講-各區域熱門商品統計：Spark SQL數據傾斜解決方案 第110講-各區域熱門商品統計：生產環境測試 六、廣告點擊流量實時統計： 第111講-廣告點擊流量實時統計：需求分析、技術方案設計以及數據設計 第112講-廣告點擊流量實時統計：為動態黑名單實時計算每天各用戶對各廣告的點擊次數 第113講-廣告點擊流量實時統計：使用高性能方式將實時計算結果寫入MySQL中 第114講-廣告點擊流量實時統計：過濾出每個batch中的黑名單用戶以生成動態黑名單 第115講-廣告點擊流量實時統計：基于動態黑名單進行點擊行為過濾 第116講-廣告點擊流量實時統計：計算每天各省各城市各廣告的點擊量 第117講-廣告點擊流量實時統計：計算每天各省的top3熱門廣告 第118講-廣告點擊流量實時統計：計算每天各廣告最近1小時滑動窗口內的點擊趨勢 第119講-廣告點擊流量實時統計：實現實時計算程序的HA高可用性 第120講-廣告點擊流量實時統計：對實時計算程序進行性能調優 第121講-廣告點擊流量實時統計：生產環境測試 第122講-課程總結：都學到了什么？ 新升級增加課程大綱： 第123講-（贈送）Spark 2.0-新特性介紹 第124講-（贈送）Spark 2.0-新特性介紹-易用性：標準化SQL支持以及更合理的API 第125講-（贈送）Spark 2.0-新特性介紹-高性能：讓Spark作為編譯器來運行 第126講-（贈送）Spark 2.0-新特性介紹-智能化：Structured Streaming介紹 第127講-（贈送）Spark 2.0-新特性介紹-Spark 1.x的Volcano Iterator Model技術缺陷分析 第128講-（贈送）Spark 2.0-新特性介紹-whole-stage code generation技術和vectorization技術 第129講-（贈送）Spark 2.0-Spark 2.x與1.x對比以及分析、學習建議以及使用建議 第130講-（贈送）Spark 2.0-課程環境搭建：虛擬機、CentOS、Hadoop、Spark等 第131講-（贈送）Spark 2.0-開發環境搭建：Eclipse+Maven+Scala+Spark 第132講-基于Spark 2.0的用戶活躍度分析：模塊介紹以及交互式用戶行為分析系統的解釋 第133講-基于Spark 2.0的用戶活躍度分析：統計指定時間內訪問次數最多的10個用戶 第134講-基于Spark 2.0的用戶活躍度分析：統計指定時間內購買金額最多的10個用戶 第135講-基于Spark 2.0的用戶活躍度分析：統計最近一個周期相比上一個周期訪問次數增長最多的10個用戶 第136講-基于Spark 2.0的用戶活躍度分析：統計最近一個周期相比上一個周期購買金額增長最多的10個用戶 第137講-基于Spark 2.0的用戶活躍度分析：統計指定注冊時間范圍內頭7天訪問次數最高的10個用戶 第138講-基于Spark 2.0的用戶活躍度分析：統計指定注冊時間范圍內頭7天購買金額最高的10個用戶 |
【在線觀看地址：https://www.bilibili.com/video/av19953981（建議登錄賬號觀看，比較清晰）】
