教程名稱：
xa0 xa0 xa0xa0大數(shù)據(jù)Spark實(shí)戰(zhàn)項(xiàng)目 大數(shù)據(jù)實(shí)戰(zhàn)之精準(zhǔn)廣告推送實(shí)戰(zhàn) 完全實(shí)戰(zhàn)化學(xué)習(xí)大數(shù)據(jù)開發(fā)
課程內(nèi)容：
xa0 xa0 互聯(lián)網(wǎng)的興起將傳統(tǒng)的廣告投放方式從線下轉(zhuǎn)為了線上模式，但傳統(tǒng)的廣告投放方式根本無法實(shí)現(xiàn)對廣告的跟蹤和效果的反饋，廣告主無從得知投入和產(chǎn)出的效果。互聯(lián)網(wǎng)廣告投放的核心就是要精準(zhǔn)的廣告推送數(shù)據(jù)分析平臺。以此能利用大數(shù)據(jù)分析出用戶的數(shù)據(jù)特征。根據(jù)用戶的數(shù)據(jù)特征達(dá)到更加精準(zhǔn)的廣告推送，比如，范冰冰喜歡敷面膜，那么大數(shù)據(jù)就會(huì)分析出其用戶需求特征，推給范冰冰的就更多的是面膜的廣告。而像Spark Transformations、Action、Broadcast、Spark Streaming、MLLib中技術(shù)點(diǎn)就是精準(zhǔn)廣告推送的綜合案例實(shí)戰(zhàn)。這些就會(huì)讓你的擇業(yè)不再是云里霧里。
課程目錄：
1.大數(shù)據(jù)實(shí)戰(zhàn)之精準(zhǔn)廣告推送實(shí)戰(zhàn)—廣告形式介紹
2.大數(shù)據(jù)實(shí)戰(zhàn)之精準(zhǔn)廣告推送實(shí)戰(zhàn)—幾個(gè)思考
3.大數(shù)據(jù)實(shí)戰(zhàn)之精準(zhǔn)廣告推送實(shí)戰(zhàn)—互聯(lián)網(wǎng)廣告概念及表現(xiàn)形式
4.大數(shù)據(jù)實(shí)戰(zhàn)之精準(zhǔn)廣告推送實(shí)戰(zhàn)—廣告名詞概念
5.大數(shù)據(jù)實(shí)戰(zhàn)之精準(zhǔn)廣告推送實(shí)戰(zhàn)—DSP原理
6.大數(shù)據(jù)實(shí)戰(zhàn)之精準(zhǔn)廣告推送實(shí)戰(zhàn)—DSP流程
7.大數(shù)據(jù)實(shí)戰(zhàn)之精準(zhǔn)廣告推送實(shí)戰(zhàn)—DMP項(xiàng)目背景
8.大數(shù)據(jù)實(shí)戰(zhàn)之精準(zhǔn)廣告推送實(shí)戰(zhàn)—DMP數(shù)據(jù)處理技術(shù)架構(gòu)
9.大數(shù)據(jù)實(shí)戰(zhàn)之精準(zhǔn)廣告推送實(shí)戰(zhàn)—DMP業(yè)務(wù)流程
10.大數(shù)據(jù)實(shí)戰(zhàn)之精準(zhǔn)廣告推送實(shí)戰(zhàn)—指標(biāo)說明
11.大數(shù)據(jù)實(shí)戰(zhàn)之精準(zhǔn)廣告推送實(shí)戰(zhàn)—日志字段屬性說明
12.大數(shù)據(jù)實(shí)戰(zhàn)之精準(zhǔn)廣告推送實(shí)戰(zhàn)—項(xiàng)目Maven工程構(gòu)建
13.大數(shù)據(jù)實(shí)戰(zhàn)之精準(zhǔn)廣告推送實(shí)戰(zhàn)—將日志轉(zhuǎn)換成Parquet格式
14.大數(shù)據(jù)實(shí)戰(zhàn)之精準(zhǔn)廣告推送實(shí)戰(zhàn)—Parquet文件分區(qū)操作
15.大數(shù)據(jù)實(shí)戰(zhàn)之精準(zhǔn)廣告推送實(shí)戰(zhàn)—Spark SQL操作Parquet–地域數(shù)據(jù)量分布統(tǒng)計(jì)
16.大數(shù)據(jù)實(shí)戰(zhàn)之精準(zhǔn)廣告推送實(shí)戰(zhàn)—Spark Core算子操作原始日志–地域數(shù)據(jù)量分布統(tǒng)計(jì)
大數(shù)據(jù)Spark實(shí)戰(zhàn)項(xiàng)目：
精準(zhǔn)廣告推送系統(tǒng)
DMP平臺
廣告行業(yè)現(xiàn)狀
廣告行業(yè)現(xiàn)狀分析
傳統(tǒng)廣告和互聯(lián)網(wǎng)廣告投放優(yōu)劣PK
廣告行業(yè)知識介紹
互聯(lián)網(wǎng)廣告的程序化采買概念
DSP業(yè)務(wù)需求詳解
SSP詳解
AD Exchange詳解
RTB實(shí)時(shí)競價(jià)詳解
DSP平臺詳解
DMP平臺詳解
項(xiàng)目背景
項(xiàng)目背景介紹
DMP平臺建設(shè)的必要性分析
項(xiàng)目業(yè)務(wù)流程梳理
DMP業(yè)務(wù)流程詳解
項(xiàng)目技術(shù)架構(gòu)分析
DMP技術(shù)架構(gòu)設(shè)計(jì)分析
日志采集
日志采集方案設(shè)計(jì)分析
日志格式
日志格式詳解
項(xiàng)目數(shù)據(jù)采集
Flume自定義插件詳解
Flume自定義插件開發(fā)流程詳解及實(shí)際場景應(yīng)用；
source、channel、sink的使用詳解及實(shí)戰(zhàn)經(jīng)驗(yàn)；
Flume HDFS sink深入剖析及實(shí)戰(zhàn)經(jīng)驗(yàn)；
數(shù)據(jù)存儲目錄結(jié)構(gòu)設(shè)計(jì)；
Flume組件使用詳解
Flume采集日志到HDFS
日志存儲目錄設(shè)計(jì)
數(shù)據(jù)存儲技術(shù)選型
parquet選型
Paruqet存儲原理詳解
Parquet優(yōu)勢分析
Parquet存儲優(yōu)點(diǎn)詳解
Parquet實(shí)戰(zhàn)
日志文件轉(zhuǎn)Parquet文件實(shí)戰(zhàn)
離線業(yè)務(wù)
日志數(shù)據(jù)量分布統(tǒng)計(jì)
Spark SQL實(shí)戰(zhàn)
廣告投放效果地域分析
Spark Transformations各算子在各業(yè)務(wù)模型中的實(shí)戰(zhàn)應(yīng)用；
Spark Action的實(shí)戰(zhàn)應(yīng)用最佳實(shí)踐經(jīng)驗(yàn)；
Spark SQL在項(xiàng)目數(shù)據(jù)分析業(yè)務(wù)場景中的各類復(fù)雜應(yīng)用，如
如參與競價(jià)數(shù)、競價(jià)成功數(shù)、競價(jià)成功率、ECPC、ECPM等。
廣告投放效果渠道分析
廣告投放效果終端分析
廣告投放效果媒體分析
實(shí)時(shí)業(yè)務(wù)
廣告日志到Kafka
使用Spark Streaming結(jié)合Kafka對業(yè)務(wù)指標(biāo)進(jìn)行實(shí)時(shí)統(tǒng)計(jì)分析，并將計(jì)算的結(jié)果數(shù)據(jù)存儲到Redis中
Kafka分區(qū)調(diào)優(yōu)應(yīng)用；
Kafka整合Spark Streaming的數(shù)據(jù)可靠性優(yōu)化實(shí)戰(zhàn)；
Kafka整合Spark Streaming的吞吐量協(xié)調(diào)優(yōu)化實(shí)戰(zhàn)；
Spark Streaming在復(fù)雜業(yè)務(wù)模型下的邏輯開發(fā)實(shí)戰(zhàn)；
Spark Streaming線上環(huán)境各類復(fù)雜異常處理經(jīng)驗(yàn)；
Spark Streaming線上環(huán)境各類監(jiān)控、JVM優(yōu)化經(jīng)驗(yàn)
媒體數(shù)據(jù)實(shí)時(shí)分析
渠道數(shù)據(jù)實(shí)時(shí)分析
用戶畫像
標(biāo)簽體系建設(shè)
定制一套標(biāo)簽體系
用戶上下文標(biāo)簽
使用Spark Transformations、Action、Broadcast及外部爬蟲抓到的網(wǎng)絡(luò)數(shù)據(jù)進(jìn)行處理分析將數(shù)據(jù)標(biāo)簽化
統(tǒng)一用戶識別
使用Spark GraphX算法，對數(shù)據(jù)進(jìn)行分析處理，識別出同一用戶跨多個(gè)設(shè)備的問題
基于地理位置的廣告投放
使用GEOHASH算法結(jié)合HBASE解決用戶的地理位置識別問題
用戶數(shù)據(jù)標(biāo)簽聚合
使用Spark Transformations、Action將上下文標(biāo)簽數(shù)據(jù)和統(tǒng)一用戶數(shù)據(jù)進(jìn)行合并
HBase存儲用戶標(biāo)簽
將合并的用戶標(biāo)簽數(shù)據(jù)存儲到Hbase中，并根據(jù)日志動(dòng)態(tài)擴(kuò)列
用戶標(biāo)簽數(shù)據(jù)衰減
將Hbase中的標(biāo)簽數(shù)據(jù)按照日期自動(dòng)衰減，形成當(dāng)天最新的標(biāo)簽
數(shù)據(jù)可視化
使用Echarts、ELK將Hbase中的數(shù)據(jù)做可視化的web平臺；
Echarts實(shí)際應(yīng)用實(shí)戰(zhàn)技能；
ELK實(shí)際應(yīng)用實(shí)戰(zhàn)技能；
