技術(shù)簡介
1.傳統(tǒng)的廣告投放方式無法實現(xiàn)廣告跟蹤和效果評估，也給廣告主帶來了不必要的資金浪費；互聯(lián)網(wǎng)技術(shù)的興起，讓傳統(tǒng)的廣告的投放方式從線下搬到了線上，大數(shù)據(jù)技術(shù)興起，讓不原本無法實現(xiàn)的廣告跟蹤和效果評估變成了現(xiàn)實；
2.精準廣告推送數(shù)據(jù)分析平臺是目前互聯(lián)網(wǎng)廣告投放的核心；
3.精準廣告推送數(shù)據(jù)分析平臺旨在利用大數(shù)據(jù)技術(shù)分析用戶數(shù)據(jù)特征，根據(jù)用戶特征進行精心的廣告推送服務，如AnglelaBaby喜歡的口紅，那么就給她推送口紅的廣告；
4.精準廣告推送數(shù)據(jù)分析項目主要是Spark Transformations、Action、Broadcast、Spark Streaming、MLLib的技術(shù)點的綜合案例實戰(zhàn)，通過該項目實戰(zhàn)讓你的面試、就業(yè)不在是黃粱一夢。
課程大綱
項目
模塊
具體內(nèi)容
涉及技術(shù)
大數(shù)據(jù)Spark實戰(zhàn)項目：
精準廣告推送系統(tǒng)
DMP平臺
廣告行業(yè)現(xiàn)狀
廣告行業(yè)現(xiàn)狀分析
傳統(tǒng)廣告和互聯(lián)網(wǎng)廣告投放優(yōu)劣PK
廣告行業(yè)知識介紹
互聯(lián)網(wǎng)廣告的程序化采買概念
DSP業(yè)務需求詳解
SSP詳解
AD Exchange詳解
RTB實時競價詳解
DSP平臺詳解
DMP平臺詳解
項目背景
項目背景介紹
DMP平臺建設的必要性分析
項目業(yè)務流程梳理
DMP業(yè)務流程詳解
項目技術(shù)架構(gòu)分析
DMP技術(shù)架構(gòu)設計分析
日志采集
日志采集方案設計分析
日志格式
日志格式詳解
項目數(shù)據(jù)采集
Flume自定義插件詳解
Flume自定義插件開發(fā)流程詳解及實際場景應用；
source、channel、sink的使用詳解及實戰(zhàn)經(jīng)驗；
Flume HDFS sink深入剖析及實戰(zhàn)經(jīng)驗；
數(shù)據(jù)存儲目錄結(jié)構(gòu)設計；
Flume組件使用詳解
Flume采集日志到HDFS
日志存儲目錄設計
數(shù)據(jù)存儲技術(shù)選型
parquet選型
Paruqet存儲原理詳解
Parquet優(yōu)勢分析
Parquet存儲優(yōu)點詳解
Parquet實戰(zhàn)
日志文件轉(zhuǎn)Parquet文件實戰(zhàn)
離線業(yè)務
日志數(shù)據(jù)量分布統(tǒng)計
Spark SQL實戰(zhàn)
廣告投放效果地域分析
Spark Transformations各算子在各業(yè)務模型中的實戰(zhàn)應用；
Spark Action的實戰(zhàn)應用最佳實踐經(jīng)驗；
Spark SQL在項目數(shù)據(jù)分析業(yè)務場景中的各類復雜應用，如
如參與競價數(shù)、競價成功數(shù)、競價成功率、ECPC、ECPM等。
廣告投放效果渠道分析
廣告投放效果終端分析
廣告投放效果媒體分析
實時業(yè)務
廣告日志到Kafka
使用Spark Streaming結(jié)合Kafka對業(yè)務指標進行實時統(tǒng)計分析，并將計算的結(jié)果數(shù)據(jù)存儲到Redis中
Kafka分區(qū)調(diào)優(yōu)應用；
Kafka整合Spark Streaming的數(shù)據(jù)可靠性優(yōu)化實戰(zhàn)；
Kafka整合Spark Streaming的吞吐量協(xié)調(diào)優(yōu)化實戰(zhàn)；
Spark Streaming在復雜業(yè)務模型下的邏輯開發(fā)實戰(zhàn)；
Spark Streaming線上環(huán)境各類復雜異常處理經(jīng)驗；
Spark Streaming線上環(huán)境各類監(jiān)控、JVM優(yōu)化經(jīng)驗
媒體數(shù)據(jù)實時分析
渠道數(shù)據(jù)實時分析
用戶畫像
標簽體系建設
定制一套標簽體系
用戶上下文標簽
使用Spark Transformations、Action、Broadcast及外部爬蟲抓到的網(wǎng)絡數(shù)據(jù)進行處理分析將數(shù)據(jù)標簽化
統(tǒng)一用戶識別
使用Spark GraphX算法，對數(shù)據(jù)進行分析處理，識別出同一用戶跨多個設備的問題
基于地理位置的廣告投放
使用GEOHASH算法結(jié)合HBASE解決用戶的地理位置識別問題
用戶數(shù)據(jù)標簽聚合
使用Spark Transformations、Action將上下文標簽數(shù)據(jù)和統(tǒng)一用戶數(shù)據(jù)進行合并
HBase存儲用戶標簽
將合并的用戶標簽數(shù)據(jù)存儲到Hbase中，并根據(jù)日志動態(tài)擴列
用戶標簽數(shù)據(jù)衰減
將Hbase中的標簽數(shù)據(jù)按照日期自動衰減，形成當天最新的標簽
數(shù)據(jù)可視化
ElasticSearch
使用Echarts、ELK將Hbase中的數(shù)據(jù)做可視化的web平臺；
Echarts實際應用實戰(zhàn)技能；
ELK實際應用實戰(zhàn)技能；
Echarts
標簽可視化平臺建設
===============課程目錄===============
1.大數(shù)據(jù)實戰(zhàn)之精準廣告推送實戰(zhàn)—廣告形式介紹.avi
2.大數(shù)據(jù)實戰(zhàn)之精準廣告推送實戰(zhàn)—幾個思考.avi
3.大數(shù)據(jù)實戰(zhàn)之精準廣告推送實戰(zhàn)—互聯(lián)網(wǎng)廣告概念及表現(xiàn)形式.avi
4.大數(shù)據(jù)實戰(zhàn)之精準廣告推送實戰(zhàn)—廣告名詞概念.avi
5.大數(shù)據(jù)實戰(zhàn)之精準廣告推送實戰(zhàn)—DSP原理.avi
6.大數(shù)據(jù)實戰(zhàn)之精準廣告推送實戰(zhàn)—DSP流程.avi
7.大數(shù)據(jù)實戰(zhàn)之精準廣告推送實戰(zhàn)—DMP項目背景.avi
8.大數(shù)據(jù)實戰(zhàn)之精準廣告推送實戰(zhàn)—DMP數(shù)據(jù)處理技術(shù)架構(gòu).avi
9.大數(shù)據(jù)實戰(zhàn)之精準廣告推送實戰(zhàn)—DMP業(yè)務流程.avi
10.大數(shù)據(jù)實戰(zhàn)之精準廣告推送實戰(zhàn)—指標說明.avi
11.大數(shù)據(jù)實戰(zhàn)之精準廣告推送實戰(zhàn)—日志字段屬性說明.avi
12.大數(shù)據(jù)實戰(zhàn)之精準廣告推送實戰(zhàn)—項目Maven工程構(gòu)建.avi
13.大數(shù)據(jù)實戰(zhàn)之精準廣告推送實戰(zhàn)—將日志轉(zhuǎn)換成Parquet格式.avi
14.大數(shù)據(jù)實戰(zhàn)之精準廣告推送實戰(zhàn)—Parquet文件分區(qū)操作.avi
15.大數(shù)據(jù)實戰(zhàn)之精準廣告推送實戰(zhàn)—Spark SQL操作Parquet–地域數(shù)據(jù)量分布統(tǒng)計.avi
16.大數(shù)據(jù)實戰(zhàn)之精準廣告推送實戰(zhàn)—Spark Core算子操作原始日志–地域數(shù)據(jù)量分布統(tǒng)計.avi
分享：
