課程目錄：
大數據24期-01-JavaSE基礎-15天
第一天：
01.什么是計算機軟件
02.什么數據軟件開發–利用編程語言來寫劇本
03.什么是jdk–怎么安裝jdk
03.什么是jdk–怎么安裝jdk
04.安裝啟動eclipse
04.安裝啟動eclipse
05.配置eclipse的字體和布局
06.新建一個java的類的步驟
07.第一個java編程作品–HelloWorld
08.java中的變量定義和變量賦值語法
09.第一個java程序中的知識點梳理–終端輸入–終端輸出
10.第二個java編程作品–數字運算
11.第二個java作品所涉及的知識點–string轉int–數字運算符
12.第二個java作品的擴展–加減乘除–float和double類型
13.邏輯判斷控制語法–if-else的結構–字符串是否相等的比較方法equals
14.if語句中的條件其實是一個布爾值–或者布爾運算表達式的結果
第二天：
01.內容復習–作業題講解
02.循環控制語法示例–將猜數字游戲改造成可以連續猜
03.循環控制語法–for循環
04.數組的應用案例–多門課程的總成績和平均成績計算
05.數組遍歷案例–求最大值最小值
06.冒泡排序算法在數組上的實現
07.java的面相對象編程–類和對象的概念及基本使用
08.類和對象的基本使用演示
09.類和對象的使用示例2–商品類和商品信息管理
第三天：
01.變量定義重新梳理
02.數組中數據的操作方法
03.類和對象的梳理
04.java編程邏輯控制語法精髓
05.類中的構造方法定義及在創建對象時的使用方法
06.類和數組的綜合練習–字符串切割
第四天：
01.集合數據類型arraylist的基本使用示例
02.關于導包的注意事項
03.關于arraylist和數組之間的區別
04.arraylist的腳標越界演示
05.arraylist中裝自定義類型的數據演示
06.arraylist求最大值-排名前n個-以及方法的定義和使用
07.方法定義和使用的再次演示
08.各種方法的定義–方法參數–方法重載
09.排序和打印list的方法演示
10.排序方法練習錯誤解析–關于返回值
12.排序方法練習錯誤解析–關于如何調用方法
13.關于靜態方法（類的方法）和成員方法（對象方法）
14.工具方法定義和使用練習講解
15.訂單類的模擬設計和訂單對象創建測試
16.今日知識總復習梳理
第五天：
01.大型面向對象編程–LOL游戲英雄–建模需求
02.public和private的區別和深刻編程思想
03.LOL英雄面向對象建模的代碼實現示范
04.自動售貨系統的需求說明及菜單開發
05.tostring方法的作用和寫法
06.商品管理功能類的開發–定義商品list–定義添加商品的方法–展現商品的方法
07.造商品數據-并完成商品展現功能
08.添加商品到購物車的功能類實現
09.打印購物車信息的方法實現
第六天：
01.到day05為止的所有知識總復習
02.購物系統的購物車功能完善
03.購物系統的購物車功能完善–再次補充-將查找商品信息的邏輯封裝到商品管理器中
04.hashmap集合的基本特性–key–value
05.hashmap的最常用功能的使用示例
06.hashset的使用和迭代器的使用和增強for循環的使用
07.hashmap和hashset的應用練習
08.hashmap的應用練習2–找重名商品
第七天：
01.day06作業題講解1-4
02.day06作業題講解5
03.day06作業題講解6
04.軟件系統通用三層架構解釋
05.自動售貨系統的架構設計
06.面向對象編程中的–面向接口編程–接口的基本特性和使用
07.面向接口編程的示例2–用戶登錄注冊系統開發–接口開發–界面開發
08.面向接口編程的示例2–業務層的實現–dao層的接口定義
09.面向接口編程的示例2–聯調測試
10.模擬數據庫Database類為何要將userMap修飾成public和static的原因
11.junit測試框架的基本使用
12.對象的構造過程–jvm先加載class–執行靜態代碼塊–構造函數
13.day01-day07的語法知識梳理
14.考試題
第八天：
01.考試02講解–基本題
02.考試02講解–復雜題–service層實現
03.考試02講解–復雜題–dao層實現
04.接口應用案例–通用排序工具開發
05.泛型參數的基本概念
06.利用泛型參數來開發一個更通用的排序工具–匿名內部類傳遞匿名對象的語法
07.jdk自帶list排序工具Collections的用法
08.Collections排序工具的另一種用法-不傳比較器而是讓數據類自己實現compareTo方法
09.day08知識梳理
第九天：
01.java文件io體系之——File工具類使用
02.計算機中的信息編碼機制
02.計算機中的信息編碼機制
03.計算機對信息的存儲機制總結梳理
03.計算機對信息的存儲機制總結梳理
04.java-io體系最底層工具-字節流-FileInputStream文件輸入流工具概念介紹
05.fileinputstream的最基本使用–逐個字節讀取并轉碼
06.利用byte數組來讓FileInputStream一次讀取連續的多個字節
07.利用while循環和byte數組進行反復讀取
08.利用FileInputStream來按行讀取數據
09.利用bufferedreader來按文本數據讀取文件
10.如何讓bufferedreader正確讀中文數據
11.課堂練習
12.課堂練習編碼實現
13.階段性知識梳理
14.fileoutputstream字節輸出流的基本使用
15.bufferedwriter的基本使用–及如何指定編碼集–字符串和數在寫文件時的區別和聯系
16.文件讀寫應用練習案例
第十天：
01.dataoutputstream和datainputstream的基本概念和使用
02.dataoutputstream和datainputstream的更多數據類型的讀寫
03.datastream的對象數據存取練習
04.序列化和反序列化的概念
05.利用objectoutputstream和objectinputstream來直接存取對象
06.利用objectstream來存取list-map等復雜類型對象
07.利用objectstream來模擬商品-訂單數據管理練習
08.java中的異常處理基本概念
09.java中的異常處理知識點梳理和模板代碼示例
10.繼承語法的基本概念和使用方法
11.繼承語法的基本概念之–方法重寫
12.繼承語法的模板代碼和知識點梳理
13.抽象類的基本概念和使用
14.抽象類的知識梳理和模板代碼
15.反射的基本概念和使用
16.反射結合面向接口編程實現一個簡易框架
第十一天：
01.反射機制知識梳理
02.反射機制中的方法調用–方法應該在對象上調用
03.線上購物系統–概要設計–用戶管理模塊詳細設計
04.dao層功能-添加用戶實現及測試
05.用戶管理模塊dao層的功能全實現及測試
06.商品管理模塊dao層的功能全實現
07.用戶管理模塊service層的功能實現實現
08.商品管理模塊的交互層功能設計和service層功能設計
09.商品管理模塊的service層接口定義
10.商品管理模塊的dao層接口定義
11.商品管理模塊的service層實現類開發
12.商品管理模塊的dao層實現類開發
第十二天：
01.購物車模塊的需求分析–交互層功能設計
02.購物車模塊的需求分析–service層功能設計
03.購物車模塊的service層–接口定義
04.購物車模塊的數據模型分析設計
05.購物車模塊需求分析–dao層功能設計
06.購物車模塊的dao層–接口定義
07.購物車模塊的service層–實現類開發
08.購物車模塊的dao層和service層重構–實現了service的添加商品到購物車功能
09.購物車模塊的dao層–實現類開發–添加新用戶和商品項到購物車
10.購物車模塊的dao層–實現類開發–根據userid和pid取購物項–以及測試
第十三天：
01.類和對象之間的關系及靜態成員和非靜態成員的關系
02.計算機網絡通信基本概念
03.socket編程服務端程序demo編寫
04.socket編程客戶端程序demo編寫并運行測試
05.服務端一次接收多個字節的數據改造
06.將程序改造成交互通信（只能一次交互）
07.將程序改造成多次交互通信
08.把服務端改造成可以常駐服務
09.單線程服務器的弊端
10.多線程的形象比喻解釋
11.多線程的簡單demo實現及相關疑問解答
12.如何向一個runnable對象中傳遞數據
13.利用多線程來改造上午的socket服務端程序
14.在文件中快速定位數據的設計思想–讓數據有組織有規律地存儲
15.寫代碼實現將數據按照固定長度和規則寫入文件
16.在文件中快速查找數據的代碼開發
17.全天知識點梳理–考試題布置
第十四天：
01.作業題講解–根據名稱查找商品的功能實現
02.作業題講解–將數據查詢功能改造成網絡服務
03.作業題講解–服務端查詢數據功能測試
04.作業題講解–服務端根據名稱查詢商品的功能實現和測試
05.2維數組的介紹和使用
06.2維數組的各種語法–定義–賦值–賦初值–遍歷
07.三元表達式的用法
08.do-while控制語法
09.continue和break的用途區別
10.匿名內部類的使用–普通類的子類–接口的實現類
11.反射的基本語法復習
12.反射與屬性配置文件的加載結合案例
13.動態代理的通俗解釋和基本運作機制
14.動態代理的示例代碼開發
15.RPC機制解析
16.將newBidbServer的客戶端改造成rpc調用
17.day14知識梳理
第十五天：
01.動態代理和靜態代理的區別聯系
02.多線程的基本使用復習
03.線程安全問題出現的原因及解決思路
04.線程安全問題解決方案synchronized的使用
05.單例設計模式的兩種基本寫法–懶漢式–餓漢式
06.單例設計模式在考慮線程安全問題下的改造
07.json數據格式介紹
08.json解析工具gson的基本使用
09.命令行初學–javac命令–環境變量配置
10.用命令行java命令來執行一個類的main方法
11.用命令行java命令來執行一個需要用到別的類甚至別的jar包的程序
12.命令行jar命令將工程代碼打成jar包
大數據24期-SpringMVC Mybatis 汽配城-8天
Mybatis第一天：
1.課程介紹
10.mybatis中類的別名定義
11.properties屬性的配置
12.mapper文件的兩種引入方式
2.mybatis介紹
3.原生態jdbc存在的問題
4.mybatis入門案例
5.mybatis基本增刪改查案例
6.mybatis的工作原理以及開發流程
7.mybatis解決jdbc問題
8.mybatis開發原始dao和mapper代理dao
9.mapper代理開發dao的注意事項以及優勢
Mybatis第二天：
1.輸入映射
2.模擬用戶登錄案例
3.resultMap的用法
4.動態標簽商品查詢案例
5.動態標簽模擬商品批量刪除
6.商品訂單模型sql
7.mybatis開發一對一查詢和映射
8.mybatis開發一對多高級映射
9.mybatis逆向工程生成代碼
Mybatis第三天：
1.輸入映射
2.模擬用戶登錄案例
3.resultMap的用法
4.動態標簽商品查詢案例
5.動態標簽模擬商品批量刪除
6.商品訂單模型sql
7.mybatis開發一對一查詢和映射
8.mybatis開發一對多高級映射
9.mybatis逆向工程生成代碼
Mybatis第四天：
1.springmvc的參數綁定
10.系統的session過濾和權限攔截的實現思路
2.get請求和post請求亂碼處理
3.springmvc的高級參數綁定
4.requestmapping注解的詳細使用
5.請求轉發和重定向到處理器
6.圖片上傳的功能分析
7.springmvc實現圖片上傳的功能
8.json注解支持
9.Springmvc對restful的支持
Mybatis第五天：
1.springmvc***的簡單例子
2.springmvc做session攔截以及session的介紹
3.復習
4.spring的IOC介紹以及入門案例
5.spring的DI案例
6.bean的三種構造方式
7.spring注解開發案例
8.常用注解的使用
Mybatis第六天：
1.ssm框架整合
2.ssm框架整合
3.登錄功能
4.商品查詢
5.商品刪除
6.商品添加
7.商品修改
Mybatis第七天：
1.動態代理
2.反射機制復習
3.springAop的原理
4.springAop進行ssm項目的事務管理
Mybatis第八天：
1.背景介紹
2.系統的功能需求介紹（注冊模塊）
3.系統的功能需求介紹(企業管理模塊)
4.系統的功能需求介紹(員工管理模塊)
5.系統的功能需求介紹(我的貨架和公共貨架模塊)
6.系統的功能需求介紹(詢價單和歷史記錄模塊)
7.系統的功能需求介紹(首頁模塊)
8.系統的數據庫設計
大數據24期-03-Linux基礎進階(開發人員必備)-3天(不想做Java開發的從這開始看)
第一天：
01.為什么要學習linux
02.Linux簡介
03.vmware簡介&軟件安裝
04.Linux學習方法
05.Linux目錄結構
06.Linux常用命令-文件處理命令1
07.Linux常用命令-文件處理命令2
08.文件處理命令
09.Linux幫助命令
10.常用命令總結
11.復習
12.Linux查找命令
13.壓縮解壓縮命令
14.系統關機命令&學習技巧
15.vim工作模式&插入命令&定位命令
16.VIM復制剪切刪除命令
17.vim替換取消&搜索替換&可視化模式
18.linux網絡NAT配置&遠程連接
第二天：
01.復習
02.常用命令作業解答
03.linux環境配置&&磁盤管理命令&&用戶管理命令
04.Linux進程管理命令
05.權限理解
06.權限修改
07.復習
08.軟件包管理rpm&&yum
09.本地yum源配置
10.使用minimal安裝linux
11.制作模板機&拍攝快照&克隆虛擬機
12.克隆后虛擬機配置
13.scp&&ssh&&配置免密登錄
14.安裝jdk
15.secure常用配置&配置yum源說明
第三天：
01.復習&&免密登錄原理
02.三種網絡配置
03.jdk安裝復習
04.shell基礎知識
05.shell腳本的創建&&shell腳本執行
06.shell變量的定義&分類
07.用戶自定義變量&&環境變量
08.位置參數變量&&預定義變量
09.上午復習
10.read命令
11.shell中的運算符
12.條件測試
13.shell流程控制語句if&case&for&while
14.shell自定義函數&&shell腳本調試
15.awk命令
16.sed命令
17.定時器
18.bash常用命令
大數據24期-04-Hadoop Hive Hbase Flume Sqoop-12天
第一天：Hadoop-集群安裝部署
01.大數據基本概念–課程內容介紹
02.大數據應用場景介紹
03.HDFS的整體工作機制介紹
04.HDFS集群搭建–服務器-網絡配置準備
05.JDK安裝和基礎環境配置–環境變量–域名映射
06.HDFS集群部署啟動
07.HDFS的命令行客戶端基本操作–DATANODE存儲文件塊的觀察
08.HDFS的命令行客戶端常用命令演示
09.業務系統中日志生成機制和代碼展示
10.HDFS的java客戶端api基本使用–客戶端參數加載機制深入理解
11.HDFS的不同進程使用不同參數–但寫在一個文件中
12.在windows環境中開發hadoop程序需要配置的本地環境
13.HDFS的java客戶端API常用操作方法的使用演示
第二天：Hadoop-HDFS工作機制
01.自開發分布式數據采集系統–系統流程設計–采集任務邏輯實現
02.自開發分布式數據采集系統–備份數據清理任務實現
03.自開發分布式數據采集系統–可配置化改造–單例設計模式的運用
04.HDFS的讀文件內容的輸入流使用示例–順序讀取–隨機讀取
05.HDFS的寫數據到文件的輸出流使用示例
06.HDFS版wordcount程序的開發實現–框架式開發
07.HDFS工作機制–namenode元數據管理–checkpoint
08.HDFS工作機制–客戶端寫數據到HDFS的流程
09.HDFS工作機制–客戶端從HDFS讀數據的流程
第三天：Hadoop-MapReduce與Yarn詳解
01.mapreduce分布式計算框架的整體工作機制
02.用mapreduce來實現wordcount的思路設計
03.mapreduce實現wordcount的邏輯代碼
04.yarn集群的功能和大體機制介紹
05.yarn集群安裝啟動
06.在windows系統中運行job客戶端來提交mapreduce程序到yarn上去執行
第四天：Hadoop-MapReduce編程案例1
01.nodemanager資源總量配置問題–maven工程插件缺失問題
02.mapreduce數據輸入輸出類型的序列化問題–明確jobsubmitter只是一個用于提交mr-job的客戶端工具程序
03.mapreduce編程模型和具體實現框架之間的概念關系
04.mapreduce程序提交的方式2——在集群上的機器上啟動提交客戶端
05.mapreduce程序提交方式3–直接在windows平臺上以本地模式運行mapreduce程序
06.mapreduce本地運行debug調試觀察
07.mapreduce編程中自定義類型的序列化接口實現方式
08.mapreduce編程案例–流量統計求和–自定義數據類型
09.mapreduce編程案例–頁面訪問次數topn的編程模型設計–treemap的使用
10.mapreduce編程案例–頁面訪問次數topn的實現–如何向map和reduce方法中傳遞外部參數
11.mapreduce編程案例–頁面訪問總次數的全局倒序排序
12.mapreduce編程案例–流量統計按歸屬地輸出–設計思想–控制數據分發規則–partition
13.mapreduce編程案例–流量統計安歸屬地輸出–代碼實現–自定義Partitioner的實現
第五天：Hadoop-MapReduce編程案例2
01.mr編程案例–文檔索引創建–輸入切片–文件切片
02.mr編程案例–求分組topn的簡單實現
03.mr編程案例–高效求分組topn的原理機制解析
04.mr編程案例–高效求分組topn的代碼實現
05.mr編程案例–共同好友統計案例實現
06.mapreduce框架內部核心工作機制詳解
07.mr編程案例–替換默認的文本輸入輸出組件為sequence文件輸入輸出組件
第六天：Hadoop-Zookeeper詳解
01.mapreduce編程模型–及hadoop中的具體實現框架–復習
02.mapreduce編程案例–join算法的代碼實現
03.mapreduce數據傾斜–利用Combiner組件 maptask端局部聚合數據來減輕傾斜影響
04.mapreduce編程案例–數據傾斜的通用解決方案–打散傾斜的key
05.mapreduce程序在yarn上的運行過程實驗觀察
06.hadoop-HA機制整體解析–引入zookeeper
07.zookeeper快速上手–功能總結
08.zookeeper應用場景舉例–服務器上下線動態感知–配置文件同步管理
09.zookeeper集群安裝部署–自動批量啟動腳本編寫
10.zookeeper命令行客戶端的功能測試
11.zookeeper的數據節點類別–短暫–持久–帶序號
12.zookeeper的java客戶端api基本功能操作示范
13.zookeeper的java客戶端api的監聽功能代碼示范
14.zookeeper的客戶端工作線程–sendThread–eventThread-守護線程
15.利用zookeeper開發分布式應用系統案例–服務端實現
16.利用zookeeper開發分布式應用系統案例–客戶端實現–運行測試
第七天：Hadoop-HA-Hive安裝部署與HQL
01.hadoop的HA機制原理解析
02.hadoop的HA集群搭建示范
03.hadoop的HA集群的客戶端編程注意點
04.hive的基本功能機制和概念
05.mysql的安裝詳細步驟
06.hive的安裝和基本使用
07.hive
08.hive的腳本化運行使用方式
09.hive的基本語法–建表語法
10.hive的基本語法–內部表和外部表
11.hive的基本語法–CTAS建表
12.hive的基本語法–數據導入–從本地–從hdfs
第八天：Hadoop-Hive函數與HQL詳解
01.hive查詢語法–基本查詢–條件查詢–關聯查詢
02.hive查詢語法–分組聚合–groupby查詢–where過濾和having過濾的區別
03.hive查詢語法–子查詢
04.hive數據類型–復合類型–array數組類型的使用
05.hive數據類型–復合類型–map類型的使用
06.hive數據類型–復合類型–struct結構類型的使用
07.hive內置函數–類型轉換cast–數學運算函數
08.hive內置函數–時間-日期-字符串–函數
09.hive內置函數–表生成函數–行轉列explode–lateral-view
10.hive-day01-作業題
第九天：Hadoop-Hbase安裝部署與詳解
01.hive內置函數–集合函數–條件控制函數
02.hive內置函數–窗口分析函數–row_number_over
03.hive窗口分析函數–應用場景–累積報表–用傳統方法實現
04.hive窗口分析函數–累積報表–用sum-over函數實現
05.hive中如何自定義函數–json解析函數示例
06.hive中的json解析函數–json-tuple
07.日新-日活用戶統計sql開發–shell腳本
08.hbase基本概念介紹–數據庫–nosql數據庫
09.hbase的核心特性–基于hdfs-分布式數據管理–表結構
10.hbase的整體工作機制–集群角色功能介紹–存儲機制
11.hbase集群搭建–及其各種機制的觀察–hdfs中的目錄–zookeeper中的狀態數據
12.hbase客戶端讀寫數據時的路由流程
13.hbase的工作機制補充–regionserver數據管理–內存緩存熱數據–持久化到hdfs的觀察
14.hbase中判斷數據是否在一個持久化文件中的機制–布隆過濾器
15.hbase的java客戶端操作–表定義管理
第十天：Hadoop-Flume安裝部署與Hbase結合使用案例
01.hbase客戶端編程DML-數據插入
02.hbase客戶端編程DML–get查詢數據
03.hbase客戶端編程DML–范圍查詢–scan
04.hbase應用綜合練習題
05.flume概念介紹及工作機制解釋
06.flume的安裝–解壓即可
07.flume采集配置案例–采集目錄中的新文件到HDFS中–配置詳解
08.flume采集配置案例–采集文件新增內容到HDFS
09.flume采集配置案例–多級agent串聯
10.hadoop離線分析項目案例–app后臺數據分析整體架構-流程-說明
11.hadoop離線分析項目案例–數據預處理需求說明
第十一天：Hadoop-App數據分析與日活躍用戶統計
01.app數據分析–預處理程序開發
02.app數據分析–預處理程序繼續改造
03.app數據分析–預處理程序的腳本開發和啟動測試
04.app數據分析–日活用戶統計開發
05.app數據分析–日新用戶統計開發
06.app數據分析–日新用戶維度報表統計
第十二天：Hadoop-app-sqoop
01.flume中的sink-batchsize和channel的transactionCapacity大小之間的注意點
02.app數據統計分析案例–次日留存用戶統計分析
03.app數據統計分析案例–版本升級軌跡信息抽取
04.sqoop的基本概念–安裝-測試
05.利用sqoop將mysql中的數據導入hdfs和hive
06.利用sqoop將hdfs和hive中的數據導出到mysql
07.app數據統計–hive報表遷移到mysql–充分注意編碼統一
08.hadoop-mapreduce編程考試題需求說明
09.java基礎拾遺–類的加載和對象的構造過程
10.java基礎拾遺–匿名內部類的應用–實現scala中的集合map方法
11.java基礎拾遺–匿名內部類語法詳解
大數據24期-05-ElasticSearch-2天
第一天：
01全文檢索概念
02Lucene的API介紹
03Lucene的API介紹
04Lucene的API介紹和IK分詞器
05Lucene的API介紹-復雜查詢
06ElasticSearch簡介
07ES和Solr的對比
08CentOS7的安裝
09CentOS7的特殊命令
10keepalived說明
11虛擬keepalived的ip配置
12Echarts的使用
13echart讀取后端的數據
14百度地圖熱點圖的使用
第二天：
01ES的簡介
02ES集群安裝
03ES的REST風格API
04ES的REST風格查詢API
05ES的Head插件安裝-1
06ES的Head插件安裝-2
07ES的ik分詞器插件安裝
08ES的JavaAPI-1
09ES的JavaAPI-2
10ES的JavaAPI創建Mapping
11ES的Java聚合查詢-1
12ES的Java聚合查詢-2
13ES的SQL插件
大數據24期-06-Spark安裝部署到高級-10天
第一天：spark-01-安裝部署環境搭建
01Spark簡介
02spark安裝包下載
03spark集群安裝-1
04spark集群安裝-2
05spark高可用集群安裝-1
06spark高可用集群安裝-2
07提交第一個spark程序
08spark shell運行wordcount
09spark任務執行流程簡介
10Yarn和spark的對比
11在idea中用scala編寫WordCount
12在idea中用java編寫WordCount
13在idea中用java lambda編寫WordCount
14本地調試spark程序
第二天：spark-02-Rdd介紹與使用
01RDD簡介
02RDD介紹
03創建RDD的方式
04RDD的Transformation-1
05RDD的Transformation-2
06RDD的分區數量
07HDFS讀取數據分區的數量
08mapParitionWithIndex
09RDD的aggregate方法
10RDD的AggregateByKey方法
11collect方法執行過程說明
12foldByKey方法
13foreach和foreachPartition
14作業和總結
第三天：spark-03-TopN與WordCount執行過程詳解
01RDD復習
02CombineByKey方法
03最受歡迎老師
04每個學科最受歡迎老師TopN-1
05每個學科最受歡迎老師TopN-2（過濾多次提交）
06每個學科最受歡迎老師TopN-3（自定義分區器）
07每個學科最受歡迎老師TopN-1（減少shuffle）
08WordCount執行過程詳解-1
09WordCount執行過程詳解-2
第四天：spark-04-Spark案例講解
01回顧
02RDD的cache
03cache部分數據
04cache的補充說明
05RDD的checkpoint機制
06根據ip計算歸屬地的需求
07單機程序計算ip歸屬地
08廣播變量
09廣播變量的使用
10根據IP地址計算歸屬地實現-1
11根據IP地址計算歸屬地實現-2
12將數據寫入到MySQL中
第五天：spark-05-自定義排序與切分Stage
01內容回顧
02自定義排序-1
03自定義排序-2
04自定義排序-3
05自定義排序-4
06自定義排序-5
07JDBC RDD
08JDBC RDD使用注意事項
09Spark執行過程簡介
10構建DAG
11切分Stage過程-1
12切分Stage過程-2
13切分Stage過程-3
14切分Stage過程-4
15線程池介紹
16序列化復習
17Spark整體執行流程
18SparkCore階段總結
第六天：spark-06-spark SQL簡介與案例詳解1
01復習
02復習
03序列化問題
04函數中引用一個Driver端的一個類的實例
05函數中引用一個Driver端的一個objec1
06在EXecutor中初始化一個object
07一個Executor中多個Task的多線程問題
08spark SQL簡介~1
08spark SQL簡介~2
09sparkSQL1.x案例-1~1
10sparkSQL1.x案例-2
11sparkSQL1.x案例-3
12sparkSQL2.x案例-1
13spark2.x的sql方式的wordcount
14spark2.x DataSet方式的api
第七天：spark-07-spark SQL案例詳解2
01復習-01
02復習-02
03spark sql的join
04dataframe的join
06用SQL根據IP地址計算歸屬地
07使用廣播變量實現mapsidejoin
08幾何平均數說明
09自定義聚合函數
10Dataset介紹
11spark2.0的特性
12sparkSQL的JDBC數據源
13寫入多種文件格式
14json數據源
15csv數據源
16parquet數據源
第八天：spark-08-SparkStraming簡介與kafka0.8集群安裝
01sparkSQL補充
02sparkSQL的join-1
03sparkSQL的join-2
04spark整合hive
05spark整合hive
06實時計算介紹
07SparkStraming簡介
08實時計算架構簡介
09kafka相關概念介紹
10kafka0.8集群安裝
11kafka的java api
第九天：spark-09-Kafka分區、DStream與直連方式實現
01復習0
02Kafka分區的相關知識
03sparksteaming原理簡介
04DSteam簡介
05第一個sparkSteaming程序
06sparkSteaming程序整合kafka
07可以更新狀態累加的WordCount
08深入理解DStream
09DStream深入理解
10Receiver方式和直連方式介紹
11直連方式實現-1
12直連方式實現-2
13直連方式實現-3
第十天：spark-10-Redis與SparkSteaming
01復習
02Redis介紹
03Redis基本使用
04Redis連接池
05sparkSteaming程序計算多個指標
06sparkSteaming執行過程說明
07計算省份成交量
08sparkSteaming程序綜合測試
09spark-on-yarn-01
10spark-on-yarn-02
大數據24期-07-Scala基礎到高級-共5天
第一天：day01-Scala簡介與基本語法
01.Scala語言的特點
02.Scala SDK的安裝說明
03.Windows下安裝Scala SDK
04.Idea中創建一個Scala工程
05.Scala 函數編程—wordCount
06.變量定義及條件表達式
07. 回顧及補充if會返回值問題
08.循環語句for及yield關鍵字
09.運算符重載成方法
10.Scala中定義方法和函數
11.傳值調用和傳名調用
第二天：參數、函數、集合、數組
01.回顧
02.可變參數
03.參數的默認值
04.高階函數
05.部分參數應用函數
06.柯里化函數
07.偏函數
08.數組的map-flatten-flatMap-foreach操作及wordCount
09.下午回顧
10.集合的常用操作
11.Set Map 元組的使用
第三天：類的成員詳解
01.回顧
02.Scala中的object對象及apply方法
03.Scala中類的定義及構造器的使用
04.Scala類的構造器訪問權限
05.Scala類的成員屬性訪問權限
06.Scala中的類的訪問權限（可見性）
07.Scala中的伴生對象
08.下午回顧
09.Scala中的并行化集合
10.Scala 特質 Trait定義使用
11.Scala中混入特質的兩種方式
12.Scala中得抽象類abstract
13.Scala中得final和type
14.Scala中樣例類和樣例對象
15.繼承時的一些問題
16.Scala中得模式匹配—match case
第四天：Akka Actor介紹
01.Akka Actor介紹
01.回顧
02.Actor工作機制
03.Actor與Actor之間傳遞消息機制
04.案例–HelloActor
05.龍哥大戰峰哥—乒乓球—Actor
06.edu智能機器人答疑—服務端和客戶端交互
07.服務端客戶端消息傳遞詳解
08.Spark Master和worker通信過程概述
第五天：Spark底層通信與Scala隱式
01.回顧
02.Spark底層通信—Worker向Master注冊自己
03.Spark底層通信—Master存儲Worker注冊過來的數據
04.Spark底層通信—Woker啟動一個調度器定期向master發送心跳
05.Spark底層通信—Master收到心跳信息后更新心跳時間并刪除超時worker
06.啟動Master和worker本機測試
07.master worker打包部署到linux多態服務測試
08.Scala中的隱式參數
09.Scala中的隱式的歧義性
10.Scala中的隱式類型轉換—File—RichFile
11.Scala中的隱式類
12.Scala中的泛型
13.Java中的Comparable–Comparator和Scala中的Ordered–Ordering
14.Scala中的上界–upper bounds
15.Scala中的視圖界定–view bounds
16.Scala中的上下文界定–context bounds
17.上界下界的圖解說明
大數據24期-共享單車項目-8天
第一天：共享單車項目-1-項目簡介微信小程序
01kafka集群問題
02項目介紹-1
03項目介紹-2
04項目涉及的技術
05微信小程序演示
06創建微信小程序
07微信小程序顯示地圖
08微信小程序添加事件
09后臺程序說明
10SpringBoot簡介
11編寫SpringBoot單車后臺web項目
12后臺web項目和微信小程序聯調
第二天：共享單車項目-2-Mongodb統計UV-PV
01mongo簡介
02mongo的安裝
03設置mongo的用戶名和密碼
04mongo的基本操作
05mongodb的基本操作
06后臺管理頁面
07向mongo中記錄log數據
08統計pv和uv指標
第三天：共享單車項目-3-Nginx負載均衡
01項目總體架構
02nginx的簡介和安裝
03nginx配置負載均衡
04nginx安裝kafka插件
05小程序對接nginx-kafka
第四天：共享單車項目-4-Flume與Kafka
01flume知識回顧
02自定義可記錄偏移量的TailFileSouce-1
03自定義可記錄偏移量的TailFileSouce-2
04自定義可記錄偏移量的TailFileSouce-3
05KafkaChannel介紹
06KafkaChannel的使用方式
07KafkaChannel的具體使用
08自定義***
09更好用的TailDirSouce
第五天：共享單車項目-5-短信驗證與充值業務
01flume問題回顧
02共享單車業務流程介紹
03短信驗證業務流程
04短信驗證代碼實現
05注冊交押金身份認證代碼實現
06充值業務實現
07短信代碼缺少依賴解決
08騰訊地圖短信api
09記錄充值行為日志
第六天：共享單車項目-6-Flume與Kafka充值、短信指標
01flume數據采集架構
02將kafka中的數據同步到hdfs中
03充值相關指標介紹
04活動參與相關指標
第七天：共享單車項目-7-查找附近的單車實現與Redis集群部署
01springboot的mongodb相關注解
02springboot的mongodb的geo注解使用
03查找附近的單車實現-1
04查找附近的單車實現-2
05查找附近的單車實現-3
06redis集群架構簡介
07redis集群配置-1
08redis集群配置-2
09redis集群測試
第八天：共享單車項目-8-報修與騎行
01報修和騎行模塊
02mongodb集群介紹
03mongodb分片和副本集介紹
04mongodb集群安裝-1
05mongodb集群安裝-2
05spark整合mongodb集群
06springboot整合mongodb集群
07mycat介紹
08mycat安裝-1
09mycat安裝-2
10指標說明和作業
