課程介紹
本課程將通過一個電視收視率項目實戰驅動講解,項目案例是國內的一家廣電企業作為非洲國家的一個運營商,以用
戶收視行為數據作為基礎數據,通過對頻道和節目的分析,采用多維度統計分析的方法挖掘用戶的收視行為特征。
通過此案例可以學習大數據整體開發流程,課程是圍繞一個大數據整理流程而做的教學課程,讓大家明白大數據不同技術的相互協調,從收集數據,過濾數據,數據分析,數據展示,
調度的使用而開發的課程,而且怎么從hadoop,hive應用快速的過度到spark上面而做的整套流程。學完此課程可以企業流程做一個整體的認識。
課程大綱
第1節項目的簡介 [免費觀看] 00:05:45分鐘
第2節項目的背景 [免費觀看] 00:07:38分鐘
第3節項目流程演示 [免費觀看] 00:11:57分鐘
第4節講課的內容和對應的知識點 [免費觀看] 00:11:53分鐘
第5節php展示統計分析之后的數據 [免費觀看] 00:02:28分鐘
第6節大數據架構介紹并且企業使用的測試集群環境和人員配置 [免費觀看] 00:07:15分鐘
第7節VM的安裝 [免費觀看] 00:05:56分鐘
第8節centos的安裝和網絡配置00:24:10分鐘
第9節通過第三方連接centos的方法00:06:48分鐘
第10節CentOS的yum源更新已經關閉防火墻00:15:37分鐘
第11節JAVA的安裝和hadoop安裝00:12:18分鐘
第12節完全分布式搭建(上)00:26:30分鐘
第13節完全分布式搭建(下)00:08:00分鐘
第14節通過hadoop自帶的demo運行單詞統計00:09:03分鐘
第15節寫一個sh腳本,可以通過一臺機器控制多臺機器00:16:15分鐘
第16節hadoop常用的命令簡單介紹00:05:55分鐘
第17節maven的安裝00:13:26分鐘
第18節maven的使用時出現的問題以及解決問題方法00:02:04分鐘
第19節MAPREDUCE 示例編寫及編程規范00:15:22分鐘
第20節安裝時間同步工具,讓所有電腦進行同步00:09:55分鐘
第21節Hive簡介和工作流程00:09:42分鐘
第22節Mysql的安裝,centos7安裝mysql注意點00:12:45分鐘
第23節安裝Hive,并且使用Hive做一個小案例00:31:15分鐘
第24節把txt文件的數據導入到Hive表中00:07:20分鐘
第25節Flume采集系統結構圖00:07:40分鐘
第26節Flume的安裝部署和實戰00:35:15分鐘
第27節sqoop數據遷移和安裝00:08:22分鐘
第28節sqoop數據從hadoop里面導入到mysql里面00:07:35分鐘
第29節sqoop數據從mysql里面導入到hadoop里面00:14:39分鐘
第30節Azkaban介紹和安裝00:14:03分鐘
第31節Azkaban創建SSL配置和配置文件00:15:57分鐘
第32節Azkaban實戰通過5個不同場景介紹原理00:34:21分鐘
第33節電視采集項目流程篇之通過linux日志收集數據到hdfs上面00:38:42分鐘
第34節電視采集項目流程篇之通過MAPREDUCE 把收集數據進行清洗00:19:01分鐘
第35節電視采集項目流程篇之清洗數據綁定到hive表中(上)00:03:27分鐘
第36節電視采集項目流程篇之清洗數據綁定到hive表中(下)00:17:03分鐘
第37節電視采集項目流程篇之根據hive綁定數據統計計算保存到hive表中00:04:46分鐘
第38節電視采集項目流程篇之把hive表中數據導入到mysql中00:13:13分鐘
第39節電視采集項目流程篇之安裝php環境并且快速熟悉php語法00:09:48分鐘
第40節電視采集項目流程篇之安裝php和echarts進行結合展示圖表00:18:23分鐘
第41節電視采集項目流程篇之Azkaban調度腳本的編寫00:32:04分鐘
第42節電視采集項目流程篇之Azkaban流程調度演示,最終在php頁面展示00:05:35分鐘
第43節hadoop和hive項目怎么平滑的轉到spark上面介紹00:05:40分鐘
第44節Spark介紹和整體架構00:08:04分鐘
第45節Spark歷史和特點00:05:01分鐘
第46節Spark下載源碼和安裝和使用00:34:04分鐘
第47節Spark創建RDD集合00:46:16分鐘
第48節Spark中transformation的介紹00:25:15分鐘
第49節Spark中action的介紹00:07:30分鐘
第50節Spark SQL發展史00:05:26分鐘
第51節HiveContext00:08:01分鐘
第52節Spark SQL和DataFrame00:14:56分鐘
第53節電視采集項目流程如何把hadoop項目平滑過渡到spark項目上00:03:59分鐘
第54節電視采集項目流程spark篇通過sparksql處理業務邏輯上00:09:21分鐘
第55節電視采集項目流程spark篇通過sparksql處理業務邏輯下00:13:31分鐘
第56節電視采集項目流程spark篇通過Azkaban調度spark00:20:22分鐘
第57節項目總體總結00:07:10分鐘
第58節簡歷指導00:09:52分鐘