課程介紹
本課程將通過一個電視收視率項目實戰(zhàn)驅(qū)動講解,項目案例是國內(nèi)的一家廣電企業(yè)作為非洲國家的一個運營商,以用
戶收視行為數(shù)據(jù)作為基礎(chǔ)數(shù)據(jù),通過對頻道和節(jié)目的分析,采用多維度統(tǒng)計分析的方法挖掘用戶的收視行為特征。
通過此案例可以學習大數(shù)據(jù)整體開發(fā)流程,課程是圍繞一個大數(shù)據(jù)整理流程而做的教學課程,讓大家明白大數(shù)據(jù)不同技術(shù)的相互協(xié)調(diào),從收集數(shù)據(jù),過濾數(shù)據(jù),數(shù)據(jù)分析,數(shù)據(jù)展示,
調(diào)度的使用而開發(fā)的課程,而且怎么從hadoop,hive應(yīng)用快速的過度到spark上面而做的整套流程。學完此課程可以企業(yè)流程做一個整體的認識。
課程大綱
第1節(jié)項目的簡介 [免費觀看] 00:05:45分鐘
第2節(jié)項目的背景 [免費觀看] 00:07:38分鐘
第3節(jié)項目流程演示 [免費觀看] 00:11:57分鐘
第4節(jié)講課的內(nèi)容和對應(yīng)的知識點 [免費觀看] 00:11:53分鐘
第5節(jié)php展示統(tǒng)計分析之后的數(shù)據(jù) [免費觀看] 00:02:28分鐘
第6節(jié)大數(shù)據(jù)架構(gòu)介紹并且企業(yè)使用的測試集群環(huán)境和人員配置 [免費觀看] 00:07:15分鐘
第7節(jié)VM的安裝 [免費觀看] 00:05:56分鐘
第8節(jié)centos的安裝和網(wǎng)絡(luò)配置00:24:10分鐘
第9節(jié)通過第三方連接centos的方法00:06:48分鐘
第10節(jié)CentOS的yum源更新已經(jīng)關(guān)閉防火墻00:15:37分鐘
第11節(jié)JAVA的安裝和hadoop安裝00:12:18分鐘
第12節(jié)完全分布式搭建(上)00:26:30分鐘
第13節(jié)完全分布式搭建(下)00:08:00分鐘
第14節(jié)通過hadoop自帶的demo運行單詞統(tǒng)計00:09:03分鐘
第15節(jié)寫一個sh腳本,可以通過一臺機器控制多臺機器00:16:15分鐘
第16節(jié)hadoop常用的命令簡單介紹00:05:55分鐘
第17節(jié)maven的安裝00:13:26分鐘
第18節(jié)maven的使用時出現(xiàn)的問題以及解決問題方法00:02:04分鐘
第19節(jié)MAPREDUCE 示例編寫及編程規(guī)范00:15:22分鐘
第20節(jié)安裝時間同步工具,讓所有電腦進行同步00:09:55分鐘
第21節(jié)Hive簡介和工作流程00:09:42分鐘
第22節(jié)Mysql的安裝,centos7安裝mysql注意點00:12:45分鐘
第23節(jié)安裝Hive,并且使用Hive做一個小案例00:31:15分鐘
第24節(jié)把txt文件的數(shù)據(jù)導(dǎo)入到Hive表中00:07:20分鐘
第25節(jié)Flume采集系統(tǒng)結(jié)構(gòu)圖00:07:40分鐘
第26節(jié)Flume的安裝部署和實戰(zhàn)00:35:15分鐘
第27節(jié)sqoop數(shù)據(jù)遷移和安裝00:08:22分鐘
第28節(jié)sqoop數(shù)據(jù)從hadoop里面導(dǎo)入到mysql里面00:07:35分鐘
第29節(jié)sqoop數(shù)據(jù)從mysql里面導(dǎo)入到hadoop里面00:14:39分鐘
第30節(jié)Azkaban介紹和安裝00:14:03分鐘
第31節(jié)Azkaban創(chuàng)建SSL配置和配置文件00:15:57分鐘
第32節(jié)Azkaban實戰(zhàn)通過5個不同場景介紹原理00:34:21分鐘
第33節(jié)電視采集項目流程篇之通過linux日志收集數(shù)據(jù)到hdfs上面00:38:42分鐘
第34節(jié)電視采集項目流程篇之通過MAPREDUCE 把收集數(shù)據(jù)進行清洗00:19:01分鐘
第35節(jié)電視采集項目流程篇之清洗數(shù)據(jù)綁定到hive表中(上)00:03:27分鐘
第36節(jié)電視采集項目流程篇之清洗數(shù)據(jù)綁定到hive表中(下)00:17:03分鐘
第37節(jié)電視采集項目流程篇之根據(jù)hive綁定數(shù)據(jù)統(tǒng)計計算保存到hive表中00:04:46分鐘
第38節(jié)電視采集項目流程篇之把hive表中數(shù)據(jù)導(dǎo)入到mysql中00:13:13分鐘
第39節(jié)電視采集項目流程篇之安裝php環(huán)境并且快速熟悉php語法00:09:48分鐘
第40節(jié)電視采集項目流程篇之安裝php和echarts進行結(jié)合展示圖表00:18:23分鐘
第41節(jié)電視采集項目流程篇之Azkaban調(diào)度腳本的編寫00:32:04分鐘
第42節(jié)電視采集項目流程篇之Azkaban流程調(diào)度演示,最終在php頁面展示00:05:35分鐘
第43節(jié)hadoop和hive項目怎么平滑的轉(zhuǎn)到spark上面介紹00:05:40分鐘
第44節(jié)Spark介紹和整體架構(gòu)00:08:04分鐘
第45節(jié)Spark歷史和特點00:05:01分鐘
第46節(jié)Spark下載源碼和安裝和使用00:34:04分鐘
第47節(jié)Spark創(chuàng)建RDD集合00:46:16分鐘
第48節(jié)Spark中transformation的介紹00:25:15分鐘
第49節(jié)Spark中action的介紹00:07:30分鐘
第50節(jié)Spark SQL發(fā)展史00:05:26分鐘
第51節(jié)HiveContext00:08:01分鐘
第52節(jié)Spark SQL和DataFrame00:14:56分鐘
第53節(jié)電視采集項目流程如何把hadoop項目平滑過渡到spark項目上00:03:59分鐘
第54節(jié)電視采集項目流程spark篇通過sparksql處理業(yè)務(wù)邏輯上00:09:21分鐘
第55節(jié)電視采集項目流程spark篇通過sparksql處理業(yè)務(wù)邏輯下00:13:31分鐘
第56節(jié)電視采集項目流程spark篇通過Azkaban調(diào)度spark00:20:22分鐘
第57節(jié)項目總體總結(jié)00:07:10分鐘
第58節(jié)簡歷指導(dǎo)00:09:52分鐘