課程介紹：
本項目主要用于互聯網電商企業中，使用Spark技術開發的大數據統計分析平臺，對電商網站的各種用戶行為（訪問行為、購物行為、廣告點擊行為等）進行復雜的分析。用統計分析出來的數據，輔助公司中的PM（產品經理）、數據分析師以及管理人員分析現有產品的情況，并根據用戶行為分析結果持續改進產品的設計，以及調整公司的戰略和業務。最終達到用大數據技術來幫助提升公司的業績、營業額以及市場占有率的目標。
項目主要采用目前大數據領域最流行、最熱門的技術——Spark，具有普通項目無法比擬的技術前瞻性與尖端性。本項目使用了Spark技術生態棧中最常用的三個技術框架，Spark Core、Spark SQL和Spark Streaming，進行離線計算和實時計算業務模塊的開發。實現了包括用戶訪問session分析、頁面單跳轉化率統計、熱門商品離線統計、廣告流量實時統計4個業務模塊。
項目中所有的業務功能模塊都是直接從實際企業項目中抽取出來的，業務復雜度絕對沒有任何縮水，只是為了更好的貼近大數據實戰課程的需要，進行了一定程度上的技術整合和業務整合。該項目的真實性、業務復雜性以及實戰型，絕對不是市面上現有的僅幾個課時的Demo級的大數據項目可以比擬的。
通過合理的將實際業務模塊進行技術整合與改造，該項目完全涵蓋了Spark Core、Spark SQL和Spark Streaming這三個技術框架中，幾乎所有的功能點、知識點以及性能優化點，僅一個項目，即可全面掌握Spark技術在實際項目中如何實現各種類型的業務需求！在項目中，重點講解了實際企業項目中積累下來的寶貴的性能調優、troubleshooting以及數據傾斜等知識和技術，幾乎所有知識和技術都是全網唯一，是任何其他視頻課程以及書本中都沒有包含的珍貴經驗積累！同時以企業級大數據項目開發流程貫穿每個業務模塊的講解，涵蓋了項目開發全流程，包括需求分析、方案設計、數據設計、編碼實現、測試以及性能調優等環節，全面還原真實大數據項目的開發流程。該項目的整體商業價值絕對在百萬元以上！
——————-課程目錄——————-
│ ├<第一章 大數據集群搭建>
│ │ ├1.1、課程介紹.mp4
│ │ ├1.10、實時數據采集流程介紹.mp4
│ │ ├1.11、Spark 1.5.1客戶端安裝以及基于YARN的提交模式.mp4
│ │ ├1.2、CentOS 6.4集群搭建-1.mp4
│ │ ├1.3、CentOS 6.4集群搭建-2.mp4
│ │ ├1.4、hadoop-2.5.0-cdh5.3.6集群搭建.mp4
│ │ ├1.5、hive-0.13.1-cdh5.3.6安裝.mp4
│ │ ├1.6、zookeeper-3.4.5-cdh5.3.6集群搭建.mp4
│ │ ├1.7、kafka_2.9.2-0.8.1集群搭建.mp4
│ │ ├1.8、flume-ng-1.5.0-cdh5.3.6安裝.mp4
│ │ └1.9、離線日志采集流程介紹.mp4
│ ├<第二章 用戶訪問session分析>
│ │ ├2.1、模塊介紹.mp4
│ │ ├2.10、單例設計模式.mp4
│ │ ├2.11、內部類以及匿名內部類.mp4
│ │ ├2.12、開發JDBC輔助組件（上）.mp4
│ │ ├2.13、開發JDBC輔助組件（下）.mp4
│ │ ├2.14、JavaBean概念講解.mp4
│ │ ├2.15、DAO模式講解以及TaskDAO開發.mp4
│ │ ├2.16、工廠模式講解以及DAOFactory開發.mp4
│ │ ├2.17、JSON數據格式講解以及fastjson介紹.mp4
│ │ ├2.18、Spark上下文構建以及模擬數據生成.mp4
│ │ ├2.19、按session粒度進行數據聚合.mp4
│ │ ├2.2、基礎數據結構以及大數據平臺架構介紹.mp4
│ │ ├2.20、按篩選參數對session粒度聚合數據進行過濾.mp4
│ │ ├2.21、session聚合統計之自定義Accumulator.mp4
│ │ ├2.22、session聚合統計之重構實現思路與重構session聚合.mp4
│ │ ├2.23、session聚合統計之重構過濾進行統計.mp4
│ │ ├2.24、session聚合統計之計算統計結果并寫入MySQL.mp4
│ │ ├2.25、session聚合統計之本地測試.mp4
│ │ ├2.26、session聚合統計之使用Scala實現自定義Accumulator.mp4
│ │ ├2.27、session隨機抽取之實現思路分析.mp4
│ │ ├2.28、session隨機抽取之計算每天每小時session數量.mp4
│ │ ├2.29、session隨機抽取之按時間比例隨機抽取算法實現.mp4
│ │ ├2.3、需求分析.mp4
│ │ ├2.30、session隨機抽取之根據隨機索引進行抽取.mp4
│ │ ├2.31、session隨機抽取之獲取抽取session的明細數據.mp4
│ │ ├2.32、session隨機抽取之本地測試.mp4
│ │ ├2.33、top10熱門品類之需求回顧以及實現思路分析.mp4
│ │ ├2.34、top10熱門品類之獲取session訪問過的所有品類.mp4
│ │ ├2.35、top10熱門品類之計算各品類點擊、下單和支付的次數.mp4
│ │ ├2.36、top10熱門品類之join品類與點擊下單支付次數.mp4
│ │ ├2.37、top10熱門品類之自定義二次排序key.mp4
│ │ ├2.38、top10熱門品類之進行二次排序.mp4
│ │ ├2.39、top10熱門品類之獲取top10品類并寫入MySQL.mp4
│ │ ├2.4、技術方案設計.mp4
│ │ ├2.40、top10熱門品類之本地測試.mp4
│ │ ├2.41、top10熱門品類之使用Scala實現二次排序.mp4
│ │ ├2.42、top10活躍session之開發準備以及top10品類RDD生成.mp4
│ │ ├2.43、top10活躍session之計算top10品類被各sessoin點擊的次數.mp4
│ │ ├2.44、top10活躍session之分組取TopN算法獲取top10活躍session.mp4
│ │ ├2.45、top10活躍session之本地測試以及階段總結.mp4
│ │ ├2.5、數據表設計.mp4
│ │ ├2.6、Eclipse工程搭建以及工具類說明.mp4
│ │ ├2.7、開發配置管理組件.mp4
│ │ ├2.8、JDBC原理介紹以及增刪改查示范.mp4
│ │ └2.9、數據庫連接池原理.mp4
│ ├<第三章 企業級性能調優、troubleshooting經驗與數據傾斜解決方案>
│ │ ├3.1、性能調優之在實際項目中分配更多資源.mp4
│ │ ├3.10、Shuffle調優之原理概述.mp4
│ │ ├3.11、Shuffle調優之合并map端輸出文件.mp4
│ │ ├3.12、Shuffle調優之調節map端內存緩沖與reduce端內存占比.mp4
│ │ ├3.13、Shuffle調優之HashShuffleManager與SortShuffleManager.mp4
│ │ ├3.14、算子調優之MapPartitions提升Map類操作性能.mp4
│ │ ├3.15、算子調優之filter過后使用coalesce減少分區數量.mp4
│ │ ├3.16、算子調優之使用foreachPartition優化寫數據庫性能.mp4
│ │ ├3.17、算子調優之使用repartition解決Spark SQL低并行度的性能問.mp4
│ │ ├3.18、算子調優之reduceByKey本地聚合介紹.mp4
│ │ ├3.19、troubleshooting之控制shuffle reduce端緩沖大小以避免OOM.mp4
│ │ ├3.2、性能調優之在實際項目中調節并行度.mp4
│ │ ├3.20、troubleshooting之解決JVM GC導致的shuffle文件拉取失敗.mp4
│ │ ├3.21、troubleshooting之解決YARN隊列資源不足導致的application直接失敗.mp4
│ │ ├3.22、troubleshooting之解決各種序列化導致的報錯.mp4
│ │ ├3.23、troubleshooting之解決算子函數返回NULL導致的問題.mp4
│ │ ├3.24、troubleshooting之解決yarn-client模式導致的網卡流量激增問題.mp4
│ │ ├3.25、troubleshooting之解決yarn-cluster模式的JVM棧內存溢出問題.mp4
│ │ ├3.26、troubleshooting之錯誤的持久化方式以及checkpoint的使用.mp4
│ │ ├3.27、數據傾斜解決方案之原理以及現象分析.mp4
│ │ ├3.28、數據傾斜解決方案之聚合源數據以及過濾導致傾斜的key.mp4
│ │ ├3.29、數據傾斜解決方案之提高shuffle操作reduce并行度.mp4
│ │ ├3.3、性能調優之在實際項目中重構RDD架構以及RDD持久化.mp4
│ │ ├3.30、數據傾斜解決方案之使用隨機key實現雙重聚合.mp4
│ │ ├3.31、數據傾斜解決方案之將reduce join轉換為map join.mp4
│ │ ├3.32、數據傾斜解決方案之sample采樣傾斜key單獨進行join.mp4
│ │ ├3.33、數據傾斜解決方案之使用隨機數以及擴容表進行join.mp4
│ │ ├3.4、性能調優之在實際項目中廣播大變量.mp4
│ │ ├3.5、性能調優之在實際項目中使用Kryo序列化.mp4
│ │ ├3.6、性能調優之在實際項目中使用fastutil優化數據格式.mp4
│ │ ├3.7、性能調優之在實際項目中調節數據本地化等待時長.mp4
│ │ ├3.8、JVM調優之原理概述以及降低cache操作的內存占比.mp4
│ │ └3.9、JVM調優之調節executor堆外內存與連接等待時長.mp4
│ ├<第四章 頁面單跳轉化率統計>
│ │ ├4.1、模塊介紹.mp4
│ │ ├4.10、生產環境測試.mp4
│ │ ├4.2、需求分析、技術方案設計、數據表設計.mp4
│ │ ├4.3、編寫基礎代碼.mp4
│ │ ├4.4、面切片生成以及頁面流匹配算法實現.mp4
│ │ ├4.5、計算頁面流起始頁面的pv.mp4
│ │ ├4.6、計算頁面切片的轉化率.mp4
│ │ ├4.7、將頁面切片轉化率寫入MySQL.mp4
│ │ ├4.8、本地測試.mp4
│ │ └4.9、生產環境測試.mp4
│ ├<第五章 各區域熱門商品統計>
│ │ ├5.1、模塊介紹.mp4
│ │ ├5.10、使用內置case when函數給各個區域打上級別標記.mp4
│ │ ├5.11、將結果數據寫入MySQL中.mp4
│ │ ├5.12、Spark SQL數據傾斜解決方案.mp4
│ │ ├5.13、生產環境測試.mp4
│ │ ├5.2、需求分析、技術方案設計以及數據設計.mp4
│ │ ├5.3、查詢用戶指定日期范圍內的點擊行為數據.mp4
│ │ ├5.4、異構數據源之從MySQL中查詢城市數據.mp4
│ │ ├5.5、關聯城市信息以及RDD轉換為DataFrame后注冊臨時表.mp4
│ │ ├5.6、開發自定義UDAF聚合函數之group_concat_distinct().mp4
│ │ ├5.7、查詢各區域各商品的點擊次數并拼接城市列表.mp4
│ │ ├5.8、關聯商品信息并使用自定義get_json_object函數和內置if函數標記經營類型.mp4
│ │ └5.9、使用開窗函數統計各區域的top3熱門商品.mp4
│ ├<第六章 廣告點擊流量實時統計>
│ │ ├6.1、需求分析、技術方案設計以及數據設計.mp4
│ │ ├6.10、對實時計算程序進行性能調優.mp4
│ │ ├6.11、生產環境測試.mp4
│ │ ├6.12、都學到了什么？.mp4
│ │ ├6.2、為動態黑名單實時計算每天各用戶對各廣告的點擊次數.mp4
│ │ ├6.3、使用高性能方式將實時計算結果寫入MySQL中.mp4
│ │ ├6.4、過濾出每個batch中的黑名單用戶以生成動態黑名單.mp4
│ │ ├6.5、基于動態黑名單進行點擊行為過濾.mp4
│ │ ├6.6、計算每天各省各城市各廣告的點擊量.mp4
│ │ ├6.7、計算每天各省的top3熱門廣告.mp4
│ │ ├6.8、計算每天各廣告最近1小時滑動窗口內的點擊趨勢.mp4
│ │ └6.9、實現實時計算程序的HA高可用性.mp4
