課程目錄
├─01大數據技術之實時項目-課程概述及數據采集.docx
├─02大數據技術之實時項目-ElasticSearch.docx
├─03大數據技術之實時項目-需求一日活.docx
├─04大數據技術之實時項目-需求二首單分析(ods+dwd).docx
├─05大數據技術之實時項目-需求三訂單明細實付金額分攤及交易額統計(dws).docx
├─06大數據技術之實時項目-ClickHouse.docx
├─07大數據技術之實時項目-需求四ADS聚合及可視化(ads).docx
├─MyBatis.txt
├─實付分攤分析思路.txt
├─實時.bmpr
(2)\2.資料;目錄中文件數:3個
├─dw-chart.rar
├─gmall2020.sql
├─雙流Join使用緩存解決數據丟失參考.scala
(3)\3.代碼;目錄中文件數:1個
├─gmall0421-parent.rar
(4)\4.視頻;目錄中文件數:0個
(5)\2.資料\01-模擬器(用戶行為);目錄中文件數:5個
├─application.properties
├─gmall2020-mock-log-2020-05-10.jar
├─logback.xml
├─path.json
├─模擬器源碼(感興趣可以看一下).rar
(6)\2.資料\02-工具;目錄中文件數:5個
├─canal.deployer-1.1.4.tar.gz
├─maxwell-1.25.0.tar.gz
├─nginx-1.12.2.tar.gz
├─squirrel-sql-3.9.1.zip
├─squirrel驅動配置圖.png
(7)\2.資料\03-模擬器(數據庫);目錄中文件數:3個
├─application.properties
├─gmall2020-mock-db-2020-05-18.jar
├─記得修改mysql地址,建議用戶個數只保留100個
(8)\2.資料\04-ClickHouse;目錄中文件數:4個
├─clickhouse-client-20.4.5.36-2.noarch.rpm
├─clickhouse-common-static-20.4.5.36-2.x86_64.rpm
├─clickhouse-common-static-dbg-20.4.5.36-2.x86_64.rpm
├─clickhouse-server-20.4.5.36-2.noarch.rpm
(9)\4.視頻\day01;目錄中文件數:13個
├─00實時項目_需求介紹.avi
├─01實時項目_離線和實時架構對比.avi
├─02實時項目_模擬數據生成jar包說明.avi
├─03實時項目_日志采集模塊搭建.avi
├─04實時項目_Controller接收數據并對其進行處理.avi
├─05實時項目_請求方式介紹以及RestfulAPI介紹.avi
├─06實時項目_通過logback對日志進行落盤.avi
├─07實時項目_保存日志到kafka.avi
├─08實時項目_打包日志服務到單臺Linux.avi
├─09實時項目_反向代理架構介紹.avi
├─10實時項目_Nginx介紹.avi
├─11實時項目_使用Nginx反向代理發送請求到不同的日志服務器.avi
├─12實時項目_編寫啟動Nginx以及日志服務腳本.avi
(10)\4.視頻\day02;目錄中文件數:15個
├─00實時項目_日活需求介紹.avi
├─01實時項目_ElasticSearch介紹.avi
├─02實時項目_倒排索引.avi
├─03實時項目_ElasticSearch和lucene等關系.avi
├─04實時項目_ElasticSearch安裝.avi
├─05實時項目_ES集群啟動及測試.avi
├─06實時項目_Kibana安裝以及配置.avi
├─07實時項目_上午內容回顧.avi
├─08實時項目_ES中基本概念.avi
├─09實時項目_ESAPI(索引操作).avi
├─10實時項目_ESAPI(文檔創建查詢和刪除).avi
├─11實時項目_ESAPI(替換文檔冪等性).avi
├─12實時項目_ESAPI(更新文檔及批處理).avi
├─13實時項目_ESAPI(分詞查詢).avi
├─14實時項目_ESAPI(精準查詢和容錯查詢).avi
(11)\4.視頻\day03;目錄中文件數:17個
├─00實時項目_內容回顧.avi
├─01實時項目_ESAPI(過濾).avi
├─02實時項目_ESAPI(范圍過濾,排序,分頁,高亮).avi
├─03實時項目_ESAPI(聚合).avi
├─04實時項目_分詞器介紹.avi
├─05實時項目_自定義詞庫(本地).avi
├─06實時項目_自定義詞庫(遠程).avi
├─07實時項目_mapping(自動定義).avi
├─08實時項目_mapping(手動定義).avi
├─09實時項目_上午內容回顧.avi
├─10實時項目_別名.avi
├─11實時項目_索引模板.avi
├─12實時項目_Idea操作ES的model創建.avi
├─13實時項目_Idea操作ES獲取連接對象.avi
├─14實時項目_Idea操作ES向Index中插入數據.avi
├─15實時項目_根據文檔id從索引中查詢數據.avi
├─16實時項目_按照條件從索引中查詢數據.avi
(12)\4.視頻\day04;目錄中文件數:12個
├─00實時項目_內容回顧.avi
├─01實時項目_按照條件從索引中查詢數據.avi
├─02實時項目_日活需求介紹.avi
├─03實時項目_創建讀取配置文件的工具類.avi
├─04實時項目_創建讀取Kafka數據的工具類.avi
├─05實時項目_創建獲取Jedis的工具類.avi
├─06實時項目_上午內容回顧.avi
├─07實時項目_功能1從kafka中讀取數據.avi
├─08實時項目_功能2通過Redis去重實現方式1.avi
├─09實時項目_功能2通過Redis去重實現方式2.avi
├─10實時項目_功能3向ES中保存數據的業務代碼.avi
├─11實時項目_ES批量插入實現.avi
(13)\4.視頻\day05;目錄中文件數:12個
├─00實時項目_內容回顧.avi
├─01實時項目_Kafka回顧1.avi
├─02實時項目_Kafka回顧2.avi
├─03實時項目_精準一次性消費.avi
├─04實時項目_手動提交偏移量+冪等性處理分析.avi
├─05實時項目_從Redis中獲取偏移量.avi
├─06實時項目_上午內容回顧.avi
├─07實時項目_根據偏移量讀取Kafka數據并記錄讀取到的偏移量.avi
├─08實時項目_保存偏移量到Redis并整體測試.avi
├─09實時項目_冪等性實現.avi
├─10實時項目_利用Kibana創建柱狀圖.avi
├─11實時項目_Kibana數據可視化.avi
(14)\4.視頻\day06;目錄中文件數:17個
├─00實時項目_內容回顧.avi
├─01實時項目_接口發布概述.avi
├─02實時項目_數據格式以及訪問路徑介紹.avi
├─03實時項目_搭建項目結構.avi
├─04實時項目_獲取日活總數service接口實現.avi
├─05實時項目_發布日活總數接口.avi
├─06實時項目_獲取日活分時值service接口實現.avi
├─07實時項目_發布分時值接口.avi
├─08實時項目_dw_chart可視化調用接口.avi
├─09實時項目_日活內容總結.avi
├─10實時項目_首單分析業務介紹.avi
├─11實時項目_canal工作原理.avi
├─12實時項目_binlog介紹.avi
├─13實時項目_MySQL準備工作.avi
├─14實時項目_canal的安裝.avi
├─15實時項目_單機版.avi
├─16實時項目_canal高可用.avi
(15)\4.視頻\day07;目錄中文件數:12個
├─00實時項目_內容回顧.avi
├─01實時項目_canalODS分析.avi
├─02實時項目_canalODS從kafka讀取數據.avi
├─03實時項目_canalODS層實現.avi
├─04實時項目_Maxwell安裝.avi
├─05實時項目_Canal和Maxwell對比.avi
├─06實時項目_MaxwellODS層實現.avi
├─07實時項目_是否為首單業務分析.avi
├─08實時項目_Hbase回顧.avi
├─09實時項目_squirrel工具使用.avi
├─10實時項目_封裝從Phoenix查詢數據的工具類.avi
├─xx實時項目_.avi
(16)\4.視頻\day08;目錄中文件數:10個
├─00實時項目_內容回顧.avi
├─01實時項目_判斷是否首單方案2.avi
├─02實時項目_保存用戶狀態到Hbase.avi
├─03實時項目_同批次狀態修正.avi
├─04實時項目_上午內容回顧.avi
├─05實時項目_首單需求分析.avi
├─06實時項目_省份維度表準備.avi
├─07實時項目_用戶維度表準備.avi
├─08實時項目_Maxwell初始化維度數據.avi
├─09實時項目_維度數據初始化測試.avi
(17)\4.視頻\day09;目錄中文件數:14個
├─00實時項目_內容回顧.avi
├─01實時項目_訂單處理類代碼回顧.avi
├─02實時項目_訂單和省份維度關聯方案1.avi
├─03實時項目_訂單和省份維度關聯方案2.avi
├─04實時項目_訂單和用戶維度的關聯.avi
├─05實時項目_將訂單信息保存到ES.avi
├─06實時項目_通過Kibana進行可視化展示.avi
├─07實時項目_上午內容回顧以及后續課程介紹.avi
├─08實時項目_訂單明細數據的準備.avi
├─09實時項目_處理商品、品牌、品類、Spu維度數據.avi
├─10實時項目_訂單明細和商品寬表進行關聯.avi
├─11實時項目_測試各維度數據初始化以及和訂單明細的關聯情況.avi
├─12實時項目_將訂單和訂單明細數據寫入到Kafka的DWD層.avi
├─13實時項目_定義OrderWideApp講解雙流join概念.avi
(18)\4.視頻\day10;目錄中文件數:12個
├─00實時項目_內容回顧.avi
├─01實時項目_雙流join處理方式1(緩存思路).avi
├─02實時項目_雙流join處理方式2(滑窗+去重).avi
├─03實時項目_雙流join代碼實現.avi
├─04實時項目_實付金額分攤思路.avi
├─05實時項目_實付分攤金額思路講解.avi
├─06實時項目_實付分攤代碼實現.avi
├─07實時項目_上午內容回顧.avi
├─08實時項目_實付分攤測試.avi
├─09實時項目_ClickHouse介紹.avi
├─10實時項目_ClickHouse單機安裝.avi
├─11實時項目_ClickHouse數據類型.avi
(19)\4.視頻\day11;目錄中文件數:13個
├─00實時項目_內容回顧.avi
├─01實時項目_表引擎.avi
├─02實時項目_二級索引.avi
├─03實時項目_TTL設置字段或者表生命周期.avi
├─04實時項目_ReplacingMergeTree.avi
├─05實時項目_SummingMergeTree.avi
├─06實時項目_SQL操作.avi
├─07實時項目_副本.avi
├─08實時項目_分片介紹.avi
├─09實時項目_3個分片2個副本集群.avi
├─10實時項目_搭建3個節點的分片集群.avi
├─11實時項目_寫入數據到ClickHouse.avi
├─12實時項目_保存測試.avi
(20)\4.視頻\day12;目錄中文件數:10個
├─00實時項目_內容回顧.avi
├─01實時項目_發布接口架構介紹.avi
├─02實時項目_查詢交易額Mapper層處理以及SQL.avi
├─03實時項目_mapper接口以及映射文件的編寫.avi
├─04實時項目_service接口以及實現類.avi
├─05實時項目_controller實現及測試.avi
├─06實時項目_上午內容回顧.avi
├─07實時項目_ADS層聚合思路.avi
├─08實時項目_封裝從MySQL讀數據和偏移量的工具類并將OrderWide數據寫回Kafka.avi
├─09實時項目_ADS層寫入.avi
(21)\4.視頻\day13;目錄中文件數:6個
├─00實時項目_發布品牌數據接口.avi
├─01實時項目_DataV數據展示.avi
├─02實時項目_總結(日活).avi
├─03實時項目_總結(訂單).avi
├─04實時項目_萬年分享.avi
├─05實時項目_鴻鵬分享.avi
(22)\2.資料\02-工具\elasticsearch相關;目錄中文件數:3個
├─elasticsearch-6.6.0.tar.gz
├─elasticsearch-analysis-ik-6.6.0.zip
├─kibana-6.6.0-linux-x86_64.tar.gz